論文の概要: Who breaks early, looses: goal oriented training of deep neural networks
based on port Hamiltonian dynamics
- arxiv url: http://arxiv.org/abs/2304.07070v1
- Date: Fri, 14 Apr 2023 11:47:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 13:45:51.489201
- Title: Who breaks early, looses: goal oriented training of deep neural networks
based on port Hamiltonian dynamics
- Title(参考訳): 誰が早期にルーズを破る:ポートハミルトン力学に基づく深層ニューラルネットワークの目標指向トレーニング
- Authors: Julian Burghoff, Marc Heinrich Monells and Hanno Gottschalk
- Abstract要約: 本稿では, 予め定義された損失関数の低減値に到達して, 探索から搾取へ切り替えるイベントベース制御機構を提案する。
提案手法を標準勾配解釈に対してベンチマークし,ディープニューラルネットワークの性能向上に関する実験的証拠を提供する。
- 参考スコア(独自算出の注目度): 0.6445605125467573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The highly structured energy landscape of the loss as a function of
parameters for deep neural networks makes it necessary to use sophisticated
optimization strategies in order to discover (local) minima that guarantee
reasonable performance. Overcoming less suitable local minima is an important
prerequisite and often momentum methods are employed to achieve this. As in
other non local optimization procedures, this however creates the necessity to
balance between exploration and exploitation. In this work, we suggest an event
based control mechanism for switching from exploration to exploitation based on
reaching a predefined reduction of the loss function. As we give the momentum
method a port Hamiltonian interpretation, we apply the 'heavy ball with
friction' interpretation and trigger breaking (or friction) when achieving
certain goals. We benchmark our method against standard stochastic gradient
descent and provide experimental evidence for improved performance of deep
neural networks when our strategy is applied.
- Abstract(参考訳): 深いニューラルネットワークのパラメータの関数としての損失の高度に構造化されたエネルギー環境は、適切な性能を保証する(局所的な)ミニマを見つけるために洗練された最適化戦略を使用する必要がある。
適当でない局所最小値の克服は重要な前提条件であり、これを達成するために運動量法がしばしば用いられる。
他の非局所最適化手順と同様に、これは探索と搾取のバランスをとる必要がある。
本研究では, 損失関数の予め定義された還元値に到達して, 探索から搾取へ切り替えるイベントベース制御機構を提案する。
モーメント法にポートハミルトン解釈を与えると、ある目標を達成する際に「摩擦を伴う重い球」解釈を適用し、破壊(または摩擦)を引き起こす。
本手法を標準確率勾配降下に対してベンチマークし,提案手法を適用したディープニューラルネットワークの性能向上のための実験的証拠を提供する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-06-20T22:10:40Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳(メタデータ) (2022-11-22T15:08:05Z) - Controlled Sparsity via Constrained Optimization or: How I Learned to
Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。
スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。
本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文 参考訳(メタデータ) (2022-08-08T21:24:20Z) - Better Training using Weight-Constrained Stochastic Dynamics [0.0]
我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。
カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。
グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
論文 参考訳(メタデータ) (2021-06-20T14:41:06Z) - Reinforcement Learning for Low-Thrust Trajectory Design of
Interplanetary Missions [77.34726150561087]
本稿では, 惑星間軌道のロバスト設計における強化学習の適用について検討する。
最先端アルゴリズムのオープンソース実装が採用されている。
その結果得られた誘導制御ネットワークは、堅牢な名目的軌道と関連する閉ループ誘導法の両方を提供する。
論文 参考訳(メタデータ) (2020-08-19T15:22:15Z) - Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。
提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
論文 参考訳(メタデータ) (2020-05-10T03:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。