論文の概要: Who breaks early, looses: goal oriented training of deep neural networks based on port Hamiltonian dynamics

• arxiv url: http://arxiv.org/abs/2304.07070v1
• Date: Fri, 14 Apr 2023 11:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 13:45:51.489201
• Title: Who breaks early, looses: goal oriented training of deep neural networks based on port Hamiltonian dynamics
• Title（参考訳）: 誰が早期にルーズを破る:ポートハミルトン力学に基づく深層ニューラルネットワークの目標指向トレーニング
• Authors: Julian Burghoff, Marc Heinrich Monells and Hanno Gottschalk
• Abstract要約: 本稿では, 予め定義された損失関数の低減値に到達して, 探索から搾取へ切り替えるイベントベース制御機構を提案する。 提案手法を標準勾配解釈に対してベンチマークし,ディープニューラルネットワークの性能向上に関する実験的証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.6445605125467573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The highly structured energy landscape of the loss as a function of parameters for deep neural networks makes it necessary to use sophisticated optimization strategies in order to discover (local) minima that guarantee reasonable performance. Overcoming less suitable local minima is an important prerequisite and often momentum methods are employed to achieve this. As in other non local optimization procedures, this however creates the necessity to balance between exploration and exploitation. In this work, we suggest an event based control mechanism for switching from exploration to exploitation based on reaching a predefined reduction of the loss function. As we give the momentum method a port Hamiltonian interpretation, we apply the 'heavy ball with friction' interpretation and trigger breaking (or friction) when achieving certain goals. We benchmark our method against standard stochastic gradient descent and provide experimental evidence for improved performance of deep neural networks when our strategy is applied.
• Abstract（参考訳）: 深いニューラルネットワークのパラメータの関数としての損失の高度に構造化されたエネルギー環境は、適切な性能を保証する(局所的な)ミニマを見つけるために洗練された最適化戦略を使用する必要がある。 適当でない局所最小値の克服は重要な前提条件であり、これを達成するために運動量法がしばしば用いられる。 他の非局所最適化手順と同様に、これは探索と搾取のバランスをとる必要がある。 本研究では, 損失関数の予め定義された還元値に到達して, 探索から搾取へ切り替えるイベントベース制御機構を提案する。 モーメント法にポートハミルトン解釈を与えると、ある目標を達成する際に「摩擦を伴う重い球」解釈を適用し、破壊(または摩擦)を引き起こす。 本手法を標準確率勾配降下に対してベンチマークし,提案手法を適用したディープニューラルネットワークの性能向上のための実験的証拠を提供する。

関連論文リスト

• Neural Spatial-Temporal Tensor Representation for Infrared Small Target Detection [3.7038542578642724]
  赤外線小ターゲット検出のためのニューラル表現時空間モデル(NeurSTT)を提案する。 NeurSTTは、背景近似における空間的時間的相関を強化し、教師なしの方法でターゲット検出をサポートする。 様々なデータセットの視覚的および数値的な結果から,提案手法は256倍256$のシーケンスで最適以下の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-23T05:46:08Z)
• Sharpening Your Density Fields: Spiking Neuron Aided Fast Geometry Learning [8.657209169726977]
  そこで我々は,手動選択の必要性を排除し,閾値を動的に調整するスパイキングニューロン機構を導入する。 我々は、合成データセットと実世界のデータセットの両方に関する広範な実験を通じて、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-12-13T05:51:03Z)
• LaCoOT: Layer Collapse through Optimal Transport [5.869633234882029]
  本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するための最適輸送手法を提案する。 この距離を最小化することで、ネットワーク内の中間層を完全に取り除くことができ、性能損失はほとんどなく、微調整も不要であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:03:53Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Reinforcement Learning for Low-Thrust Trajectory Design of Interplanetary Missions [77.34726150561087]
  本稿では, 惑星間軌道のロバスト設計における強化学習の適用について検討する。 最先端アルゴリズムのオープンソース実装が採用されている。 その結果得られた誘導制御ネットワークは、堅牢な名目的軌道と関連する閉ループ誘導法の両方を提供する。
  論文  参考訳（メタデータ） (2020-08-19T15:22:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。