論文の概要: Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians

• arxiv url: http://arxiv.org/abs/2010.13514v1
• Date: Mon, 26 Oct 2020 12:12:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 18:12:44.918415
• Title: Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians
• Title（参考訳）: Delta-STN:構造化応答ジャコビアンを用いたニューラルネットワークの効率的な2レベル最適化
• Authors: Juhan Bae, Roger Grosse
• Abstract要約: 自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization of neural networks can be elegantly formulated as a bilevel optimization problem. While research on bilevel optimization of neural networks has been dominated by implicit differentiation and unrolling, hypernetworks such as Self-Tuning Networks (STNs) have recently gained traction due to their ability to amortize the optimization of the inner objective. In this paper, we diagnose several subtle pathologies in the training of STNs. Based on these observations, we propose the $\Delta$-STN, an improved hypernetwork architecture which stabilizes training and optimizes hyperparameters much more efficiently than STNs. The key idea is to focus on accurately approximating the best-response Jacobian rather than the full best-response function; we achieve this by reparameterizing the hypernetwork and linearizing the network around the current parameters. We demonstrate empirically that our $\Delta$-STN can tune regularization hyperparameters (e.g. weight decay, dropout, number of cutout holes) with higher accuracy, faster convergence, and improved stability compared to existing approaches.
• Abstract（参考訳）: ニューラルネットワークのハイパーパラメータ最適化は、2レベル最適化問題としてエレガントに定式化することができる。 ニューラルネットワークのバイレベル最適化の研究は暗黙の差別化とアンロールによって支配されているが、自己チューニングネットワーク(STN)のようなハイパーネットワークは、内的目的の最適化を補正する能力によって、最近勢いを増している。 本稿ではSTNのトレーニングにおけるいくつかの微妙な病理診断を行う。 これらの観測に基づいて,STNよりもはるかに効率的にトレーニングを安定化し,ハイパーパラメータを最適化する改良されたハイパーネットワークアーキテクチャである$\Delta$-STNを提案する。 鍵となる考え方は、最高の応答関数ではなく、最良の応答ジャコビアンを正確に近似することであり、ハイパーネットワークを再パラメータ化し、現在のパラメータのまわりのネットワークを線形化する。 我々の$\delta$-stnが、より精度が高く、より高速に収束し、既存のアプローチよりも安定性が向上した、正規化ハイパーパラメータ(例えば、重量減少、滴落、切欠孔の数)をチューニングできることを実証的に示します。

関連論文リスト

• Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
  ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。 本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。 実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。 このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
  論文  参考訳（メタデータ） (2024-10-29T09:23:24Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Hyperparameter Optimization through Neural Network Partitioning [11.6941692990626]
  本稿では,ニューラルネットワークにおけるハイパーパラメータの最適化をシンプルかつ効率的に行う方法を提案する。 本手法では,トレーニングデータとニューラルネットワークモデルをデータシャードとパラメータ分割に$K$に分割する。 我々は、この目的を単一のトレーニングランで様々なハイパーパラメータを最適化するために適用できることを実証した。
  論文  参考訳（メタデータ） (2023-04-28T11:24:41Z)
• Robust Deep Compressive Sensing with Recurrent-Residual Structural Constraints [0.0]
  既存のディープラーニング(CS)手法は、適応的なオンライン最適化を無視するか、コストのかかる反復的な再構築に依存している。 この研究は、R$2$CS-NETと呼ばれる再帰的構造制約を持つ新しいイメージCSフレームワークを探索する。 適応型オンライン最適化を効率的にブリッジする最初のディープCSフレームワークとして、R$2$CS-NETは、オンライン最適化の堅牢性とディープラーニング手法の効率性と非線形能力を統合する。
  論文  参考訳（メタデータ） (2022-07-15T05:56:13Z)
• Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection [2.304713283039168]
  侵入検出問題に対してディープニューラルネットワーク(DNN)がうまく適用されている。 本稿では,ハイパーパラメータの自動最適化のための新しいベイズ最適化フレームワークを提案する。 提案手法は,ランダムな探索最適化手法よりも侵入検出性能が高いことを示す。
  論文  参考訳（メタデータ） (2022-07-07T20:08:38Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Hyperparameter Optimization in Binary Communication Networks for Neuromorphic Deployment [4.280642750854163]
  ニューロモルフィック展開のためのニューラルネットワークのトレーニングは簡単ではない。 本稿では,ニューロモルフィックハードウェアに展開可能なバイナリ通信ネットワークをトレーニングするためのアルゴリズムのハイパーパラメータを最適化するためのベイズ的手法を提案する。 このアルゴリズムでは,データセット毎のハイパーパラメータを最適化することにより,データセット毎の前の最先端よりも精度が向上できることが示されている。
  論文  参考訳（メタデータ） (2020-04-21T01:15:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。