論文の概要: Magnitude Invariant Parametrizations Improve Hypernetwork Learning
- arxiv url: http://arxiv.org/abs/2304.07645v2
- Date: Thu, 29 Jun 2023 16:38:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 16:32:45.837455
- Title: Magnitude Invariant Parametrizations Improve Hypernetwork Learning
- Title（参考訳）: ハイパーネットワーク学習を改善するマグニチュード不変パラメトリゼーション
- Authors: Jose Javier Gonzalez Ortiz, John Guttag, Adrian Dalca
- Abstract要約: Hypernetworksは、別のニューラルネットワークのパラメータを予測する強力なニューラルネットワークである。
トレーニングは通常、非ハイパーネットワークモデルよりもはるかにゆっくりと収束する。
我々は、ハイパーネットワークのトレーニングの課題に寄与する、基本的な未確認の問題を識別する。
我々は、MIP(Magnitude Invariant Parametrizations)と呼ばれる改訂されたハイパーネットワークの定式化を用いて、この問題に対する簡単な解決策を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hypernetworks, neural networks that predict the parameters of another neural
network, are powerful models that have been successfully used in diverse
applications from image generation to multi-task learning. Unfortunately,
existing hypernetworks are often challenging to train. Training typically
converges far more slowly than for non-hypernetwork models, and the rate of
convergence can be very sensitive to hyperparameter choices. In this work, we
identify a fundamental and previously unidentified problem that contributes to
the challenge of training hypernetworks: a magnitude proportionality between
the inputs and outputs of the hypernetwork. We demonstrate both analytically
and empirically that this can lead to unstable optimization, thereby slowing
down convergence, and sometimes even preventing any learning. We present a
simple solution to this problem using a revised hypernetwork formulation that
we call Magnitude Invariant Parametrizations (MIP). We demonstrate the proposed
solution on several hypernetwork tasks, where it consistently stabilizes
training and achieves faster convergence. Furthermore, we perform a
comprehensive ablation study including choices of activation function,
normalization strategies, input dimensionality, and hypernetwork architecture;
and find that MIP improves training in all scenarios. We provide easy-to-use
code that can turn existing networks into MIP-based hypernetworks.
- Abstract（参考訳）: 他のニューラルネットワークのパラメータを予測するニューラルネットワークであるハイパーネットワークは、画像生成からマルチタスク学習まで、さまざまなアプリケーションでうまく使われている強力なモデルである。
残念ながら、既存のハイパーネットワークはトレーニングが難しいことが多い。
トレーニングは通常、非ハイパーネットワークモデルよりもずっと遅く収束し、収束率はハイパーパラメータの選択に非常に敏感である。
本研究では,ハイパーネットワークの入力と出力の比例性という,ハイパーネットワークのトレーニングの課題に寄与する基礎的かつ従来不明な問題を特定する。
分析的にも経験的にも不安定な最適化につながり、収束が遅くなり、時には学習が妨げられることを実証する。
我々は、MIP(Magnitude Invariant Parametrizations)と呼ばれる改訂されたハイパーネットワークの定式化を用いて、この問題に対する簡単な解決策を提案する。
提案手法は,複数のハイパーネットワークタスクにおいて,一貫してトレーニングを安定させ,より高速な収束を実現する。
さらに、アクティベーション関数、正規化戦略、入力次元、ハイパーネットワークアーキテクチャの選択を含む包括的アブレーション研究を行い、MIPが全てのシナリオにおけるトレーニングを改善することを確認する。
既存のネットワークをMIPベースのハイパーネットワークに変換するための使い易いコードを提供します。
関連論文リスト
- Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳（メタデータ） (2023-09-06T17:08:57Z) - The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
ニューラルネットワークのトレーニングは、計算集約的なタスクである。
本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。
この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
論文 参考訳（メタデータ） (2022-12-18T08:34:11Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳（メタデータ） (2022-02-23T18:23:07Z) - Hypernetwork Dismantling via Deep Reinforcement Learning [1.4877837830677472]
ハイパーネットワーク解体問題をノードシーケンス決定問題として定式化する。
深層強化学習型ハイパーネットワーク分解フレームワークを提案する。
5つの実世界のハイパーネットワークの実験結果は,提案フレームワークの有効性を示している。
論文 参考訳（メタデータ） (2021-04-29T13:35:29Z) - Revisiting the double-well problem by deep learning with a hybrid
network [7.308730248177914]
本稿では,lstmとresnetの2種類のニューラルネットワークを統合するハイブリッドネットワークを提案する。
このようなハイブリッドネットワークは、空間的または時間的変調が速いシステムにおける協調ダイナミクスの解決に応用できる。
論文 参考訳（メタデータ） (2021-04-25T07:51:43Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳（メタデータ） (2021-03-02T03:09:03Z) - Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors [2.6949002029513167]
混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-12T09:20:49Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Molecule Property Prediction and Classification with Graph Hypernetworks [113.38181979662288]
ネットワークをハイパーネットワークに置き換えることで性能が向上することを示す。
ハイパーネットワークの適用において大きな困難は、安定性の欠如である。
最近の研究は、エラー訂正コードのコンテキストにおいて、ハイパーネットワークのトレーニング不安定性に取り組んでいる。
論文 参考訳（メタデータ） (2020-02-01T16:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。