論文の概要: Non-Proportional Parametrizations for Stable Hypernetwork Learning

• arxiv url: http://arxiv.org/abs/2304.07645v1
• Date: Sat, 15 Apr 2023 22:18:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 18:07:11.869732
• Title: Non-Proportional Parametrizations for Stable Hypernetwork Learning
• Title（参考訳）: 安定なハイパーネットワーク学習のための非プロポーザルパラメトリゼーション
• Authors: Jose Javier Gonzalez Ortiz, John Guttag, Adrian Dalca
• Abstract要約: 現在のハイパーネットワークトレーニング戦略は不安定であり、収束は非ハイパーネットワークモデルよりもはるかに遅いことが示される。 非局所的な加法的パラメトリゼーションを用いた改良されたハイパーネットワークの定式化に基づく解を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hypernetworks are neural networks that generate the parameters of another neural network. In many scenarios, current hypernetwork training strategies are unstable, and convergence is often far slower than for non-hypernetwork models. We show that this problem is linked to an issue that arises when using common choices of hypernetwork architecture and initialization. We demonstrate analytically and experimentally how this numerical issue can lead to an instability during training that slows, and sometimes even prevents, convergence. We also demonstrate that popular deep learning normalization strategies fail to address these issues. We then propose a solution to the problem based on a revised hypernetwork formulation that uses non-proportional additive parametrizations. We test the proposed reparametrization on several tasks, and demonstrate that it consistently leads to more stable training, achieving faster convergence.
• Abstract（参考訳）: Hypernetworksは、別のニューラルネットワークのパラメータを生成するニューラルネットワークである。 多くのシナリオでは、現在のハイパーネットワークトレーニング戦略は不安定であり、収束は非ハイパーネットワークモデルよりもはるかに遅い。 この問題は,ハイパーネットワークアーキテクチャと初期化の共通選択を用いて発生する問題と関連していることを示す。 解析的および実験的に、この数値問題がどのようにトレーニング中に不安定になり、収束を遅くし、時には防ぐことができるかを実証する。 また、一般的なディープラーニング正規化戦略がこれらの問題に対処できないことも示しています。 そこで本研究では,非比例加法パラメトリゼーションを用いた修正ハイパーネットワークの定式化に基づく問題に対する解法を提案する。 提案する再パラメータ化を複数のタスクでテストし,より安定したトレーニングを継続し,より高速な収束を実現することを実証した。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Hypernetwork Dismantling via Deep Reinforcement Learning [1.4877837830677472]
  ハイパーネットワーク解体問題をノードシーケンス決定問題として定式化する。 深層強化学習型ハイパーネットワーク分解フレームワークを提案する。 5つの実世界のハイパーネットワークの実験結果は,提案フレームワークの有効性を示している。
  論文  参考訳（メタデータ） (2021-04-29T13:35:29Z)
• Revisiting the double-well problem by deep learning with a hybrid network [7.308730248177914]
  本稿では,lstmとresnetの2種類のニューラルネットワークを統合するハイブリッドネットワークを提案する。 このようなハイブリッドネットワークは、空間的または時間的変調が速いシステムにおける協調ダイナミクスの解決に応用できる。
  論文  参考訳（メタデータ） (2021-04-25T07:51:43Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors [2.6949002029513167]
  混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。 ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。 ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-12T09:20:49Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Molecule Property Prediction and Classification with Graph Hypernetworks [113.38181979662288]
  ネットワークをハイパーネットワークに置き換えることで性能が向上することを示す。 ハイパーネットワークの適用において大きな困難は、安定性の欠如である。 最近の研究は、エラー訂正コードのコンテキストにおいて、ハイパーネットワークのトレーニング不安定性に取り組んでいる。
  論文  参考訳（メタデータ） (2020-02-01T16:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。