論文の概要: Using linear initialisation to improve speed of convergence and fully-trained error in Autoencoders

• arxiv url: http://arxiv.org/abs/2311.10699v1
• Date: Fri, 17 Nov 2023 18:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-20 13:42:23.150428
• Title: Using linear initialisation to improve speed of convergence and fully-trained error in Autoencoders
• Title（参考訳）: 線形初期化を用いたオートエンコーダの収束速度と完全学習誤差の改善
• Authors: Marcel Marais, Mate Hartstein, George Cevora
• Abstract要約: そこで我々はStraddled Matrix Initialiserと呼ばれる新しいウェイト初期化手法を導入する。 階層行列とReLU活性化関数の組み合わせは、ニューラルネットワークをデファクト線形モデルとして初期化する。 全ての実験において、Straddeled Matrix Initialiserは、他のすべての方法よりも明らかに優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Good weight initialisation is an important step in successful training of Artificial Neural Networks. Over time a number of improvements have been proposed to this process. In this paper we introduce a novel weight initialisation technique called the Straddled Matrix Initialiser. This initialisation technique is motivated by our assumption that major, global-scale relationships in data are linear with only smaller effects requiring complex non-linearities. Combination of Straddled Matrix and ReLU activation function initialises a Neural Network as a de facto linear model, which we postulate should be a better starting point for optimisation given our assumptions. We test this by training autoencoders on three datasets using Straddled Matrix and seven other state-of-the-art weight initialisation techniques. In all our experiments the Straddeled Matrix Initialiser clearly outperforms all other methods.
• Abstract（参考訳）: グッドウェイト初期化は、ニューラルネットワークのトレーニングを成功させるための重要なステップである。 時間とともに、このプロセスに多くの改善が提案されている。 本稿では,Straddled Matrix Initialiserと呼ばれる新しいウェイト初期化手法を提案する。 この初期化手法は、データにおける大規模で大域的な関係性が線形であり、複雑な非線形性を必要とする影響が小さいという仮定に動機づけられている。 階層行列とrelu活性化関数の組み合わせは、ニューラルネットワークをデファクト線形モデルとして初期化します。 これを3つのデータセットで自動エンコーダをトレーニングし、階層行列と他の7つの最先端の重み初期化技術を用いてテストする。 全ての実験において、Straddeled Matrix Initialiserは、他のすべての方法よりも明らかに優れている。

関連論文リスト

• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• From Pointwise to Powerhouse: Initialising Neural Networks with Generative Models [1.1807848705528714]
  本稿では,新しい初期化手法の2つのグループを紹介する。 まず,変分オートエンコーダを用いて重み群を局所的に初期化する。 第2に,グラフハイパーネットを用いた全重みセットをグローバルに初期化する。
  論文  参考訳（メタデータ） (2023-10-25T15:06:32Z)
• Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
  提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。 大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T14:30:06Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks [7.412225511828064]
  勾配降下で訓練された深い線形ネットワークは、低階解を生成する。 オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
  論文  参考訳（メタデータ） (2021-07-02T23:17:50Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• Improved Initialization of State-Space Artificial Neural Networks [0.0]
  ブラックボックスの非線形状態空間モデルの同定は、状態方程式と出力方程式の柔軟な表現を必要とする。 本稿では,リカレントニューラルネットワークとして表現される非線形状態空間モデルに対する改良手法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T15:16:08Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。