Fugu-MT 論文翻訳(概要): From Pointwise to Powerhouse: Initialising Neural Networks with Generative Models

論文の概要: From Pointwise to Powerhouse: Initialising Neural Networks with Generative Models

arxiv url: http://arxiv.org/abs/2310.16695v1
Date: Wed, 25 Oct 2023 15:06:32 GMT
ステータス: 処理完了
システム内更新日: 2023-10-26 14:00:17.225417
Title: From Pointwise to Powerhouse: Initialising Neural Networks with Generative Models
Title（参考訳）: pointwiseからpowerhouseへ:生成モデルによるニューラルネットワークの初期化
Authors: Christian Harder, Moritz Fuchs, Yuri Tolkach, Anirban Mukhopadhyay
Abstract要約: 本稿では,新しい初期化手法の2つのグループを紹介する。まず,変分オートエンコーダを用いて重み群を局所的に初期化する。第2に,グラフハイパーネットを用いた全重みセットをグローバルに初期化する。
参考スコア（独自算出の注目度）: 1.1807848705528714
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Traditional initialisation methods, e.g. He and Xavier, have been effective in avoiding the problem of vanishing or exploding gradients in neural networks. However, they only use simple pointwise distributions, which model one-dimensional variables. Moreover, they ignore most information about the architecture and disregard past training experiences. These limitations can be overcome by employing generative models for initialisation. In this paper, we introduce two groups of new initialisation methods. First, we locally initialise weight groups by employing variational autoencoders. Secondly, we globally initialise full weight sets by employing graph hypernetworks. We thoroughly evaluate the impact of the employed generative models on state-of-the-art neural networks in terms of accuracy, convergence speed and ensembling. Our results show that global initialisations result in higher accuracy and faster initial convergence speed. However, the implementation through graph hypernetworks leads to diminished ensemble performance on out of distribution data. To counteract, we propose a modification called noise graph hypernetwork, which encourages diversity in the produced ensemble members. Furthermore, our approach might be able to transfer learned knowledge to different image distributions. Our work provides insights into the potential, the trade-offs and possible modifications of these new initialisation methods.
Abstract（参考訳）: HeやXavierといった従来の初期化手法は、ニューラルネットワークにおける勾配の消滅や爆発の問題を回避している。しかし、それらは1次元変数をモデル化する単純な点分布のみを使用する。さらに、アーキテクチャに関するほとんどの情報を無視し、過去のトレーニング経験を無視します。これらの制限は初期化に生成モデルを用いることで克服できる。本稿では,新しい初期化手法の2つのグループを紹介する。まず,変分オートエンコーダを用いて重み群を局所的に初期化する。次に,グラフハイパーネットワークを用いて全重量集合をグローバルに初期化する。我々は,採用した生成モデルが最先端ニューラルネットワークに与える影響を,精度,収束速度,アンサンブルの観点から徹底的に評価した。その結果,グローバル初期化は高い精度と高速な初期収束速度をもたらすことがわかった。しかしながら、グラフハイパーネットワークによる実装は、分散データ外におけるアンサンブル性能を低下させる。そこで,提案するノイズグラフハイパーネットワークは,生成したアンサンブル部材の多様性を促進するものである。さらに,学習した知識を異なる画像分布に伝達する手法を提案する。我々の研究は、これらの新しい初期化手法の可能性、トレードオフ、および変更の可能性に関する洞察を提供する。

関連論文リスト

Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
論文参考訳（メタデータ） (2024-10-31T11:21:20Z)
Adapt & Align: Continual Learning with Generative Models Latent Space Alignment [15.729732755625474]
本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
論文参考訳（メタデータ） (2023-12-21T10:02:17Z)
On the Initialization of Graph Neural Networks [10.153841274798829]
グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
論文参考訳（メタデータ） (2023-12-05T09:55:49Z)
An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
論文参考訳（メタデータ） (2023-11-07T13:52:35Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-05T11:56:35Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
On the Reproducibility of Neural Network Predictions [52.47827424679645]
そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
論文参考訳（メタデータ） (2021-02-05T18:51:01Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。