論文の概要: Who breaks early, looses: goal oriented training of deep neural networks based on port Hamiltonian dynamics

• arxiv url: http://arxiv.org/abs/2304.07070v1
• Date: Fri, 14 Apr 2023 11:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 13:45:51.489201
• Title: Who breaks early, looses: goal oriented training of deep neural networks based on port Hamiltonian dynamics
• Title（参考訳）: 誰が早期にルーズを破る:ポートハミルトン力学に基づく深層ニューラルネットワークの目標指向トレーニング
• Authors: Julian Burghoff, Marc Heinrich Monells and Hanno Gottschalk
• Abstract要約: 本稿では, 予め定義された損失関数の低減値に到達して, 探索から搾取へ切り替えるイベントベース制御機構を提案する。 提案手法を標準勾配解釈に対してベンチマークし,ディープニューラルネットワークの性能向上に関する実験的証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.6445605125467573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The highly structured energy landscape of the loss as a function of parameters for deep neural networks makes it necessary to use sophisticated optimization strategies in order to discover (local) minima that guarantee reasonable performance. Overcoming less suitable local minima is an important prerequisite and often momentum methods are employed to achieve this. As in other non local optimization procedures, this however creates the necessity to balance between exploration and exploitation. In this work, we suggest an event based control mechanism for switching from exploration to exploitation based on reaching a predefined reduction of the loss function. As we give the momentum method a port Hamiltonian interpretation, we apply the 'heavy ball with friction' interpretation and trigger breaking (or friction) when achieving certain goals. We benchmark our method against standard stochastic gradient descent and provide experimental evidence for improved performance of deep neural networks when our strategy is applied.
• Abstract（参考訳）: 深いニューラルネットワークのパラメータの関数としての損失の高度に構造化されたエネルギー環境は、適切な性能を保証する(局所的な)ミニマを見つけるために洗練された最適化戦略を使用する必要がある。 適当でない局所最小値の克服は重要な前提条件であり、これを達成するために運動量法がしばしば用いられる。 他の非局所最適化手順と同様に、これは探索と搾取のバランスをとる必要がある。 本研究では, 損失関数の予め定義された還元値に到達して, 探索から搾取へ切り替えるイベントベース制御機構を提案する。 モーメント法にポートハミルトン解釈を与えると、ある目標を達成する際に「摩擦を伴う重い球」解釈を適用し、破壊(または摩擦)を引き起こす。 本手法を標準確率勾配降下に対してベンチマークし,提案手法を適用したディープニューラルネットワークの性能向上のための実験的証拠を提供する。

関連論文リスト

• Robust Training of Neural Networks at Arbitrary Precision and Sparsity [11.177990498697845]
  量子化とスパーシフィケーションに固有の不連続な操作は、バックプロパゲーションに障害をもたらす。 これは、超低精度とスパースレジームでディープニューラルネットワークをトレーニングする場合、特に困難である。 我々は、新しい、頑健で普遍的な解、すなわちデノージングアフィン変換を提案する。
  論文  参考訳（メタデータ） (2024-09-14T00:57:32Z)
• LaCoOT: Layer Collapse through Optimal Transport [5.869633234882029]
  本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するための最適輸送手法を提案する。 この距離を最小化することで、ネットワーク内の中間層を完全に取り除くことができ、性能損失はほとんどなく、微調整も不要であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:03:53Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Better Training using Weight-Constrained Stochastic Dynamics [0.0]
  我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。 カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。 グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-06-20T14:41:06Z)
• Reinforcement Learning for Low-Thrust Trajectory Design of Interplanetary Missions [77.34726150561087]
  本稿では, 惑星間軌道のロバスト設計における強化学習の適用について検討する。 最先端アルゴリズムのオープンソース実装が採用されている。 その結果得られた誘導制御ネットワークは、堅牢な名目的軌道と関連する閉ループ誘導法の両方を提供する。
  論文  参考訳（メタデータ） (2020-08-19T15:22:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。