論文の概要: Unlocked Backpropagation using Wave Scattering

• arxiv url: http://arxiv.org/abs/2602.10461v1
• Date: Wed, 11 Feb 2026 03:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.414874
• Title: Unlocked Backpropagation using Wave Scattering
• Title（参考訳）: ウェーブ散乱を用いたアンロックバックプロパゲーション
• Authors: Christian Pehle, Jean-Jacques Slotine,
• Abstract要約: 双曲型初期値問題として最適制御理論における最大原理の再構成を導出する。 この元の問題の緩和は、平衡する物理系として解釈できる。 我々は、この連続体理論を、ニューラルネットワークのトレーニングに適した完全にアンロックされたアルゴリズムのファミリーを導出するために識別する。
• 参考スコア（独自算出の注目度）: 0.006486143522483092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both the backpropagation algorithm in machine learning and the maximum principle in optimal control theory are posed as a two-point boundary problem, resulting in a "forward-backward" lock. We derive a reformulation of the maximum principle in optimal control theory as a hyperbolic initial value problem by introducing an additional "optimization time" dimension. We introduce counter-propagating wave variables with finite propagation speed and recast the optimization problem in terms of scattering relationships between them. This relaxation of the original problem can be interpreted as a physical system that equilibrates and changes its physical properties in order to minimize reflections. We discretize this continuum theory to derive a family of fully unlocked algorithms suitable for training neural networks. Different parameter dynamics, including gradient descent, can be derived by demanding dissipation and minimization of reflections at parameter ports. These results also imply that any physical substrate that supports the scattering and dissipation of waves can be interpreted as solving an optimization problem.
• Abstract（参考訳）: 機械学習におけるバックプロパゲーションアルゴリズムと最適制御理論における最大原理の両方が2点境界問題として提案され、結果として「前方」ロックとなる。 最適制御理論における最大原理を、追加の「最適化時間」次元を導入することで、双曲的初期値問題として再構成する。 有限伝搬速度の逆伝搬波動変数を導入し、それらの間の散乱関係の観点から最適化問題を再放送する。 この元の問題の緩和は、リフレクションを最小化するために物理特性を平衡化し、変化させる物理系として解釈することができる。 我々は、この連続体理論を、ニューラルネットワークのトレーニングに適した完全にアンロックされたアルゴリズムのファミリーを導出するために識別する。 勾配降下を含む異なるパラメータダイナミクスは、パラメータポートでの反射の消散と最小化を要求することで導出することができる。 これらの結果は、波の散乱と散逸をサポートする物理基板は、最適化問題の解法として解釈可能であることを示唆している。

関連論文リスト

• Towards Understanding the Optimization Mechanisms in Deep Learning [5.281849820329249]
  本稿では,ディープニューラルネットワークを用いた教師付き分類のメカニズムを探るため,分布推定の観点を採用する。 後者では、オーバー・アンド・確率ランダム化のようなメカニズムに関する理論的洞察を提供する。
  論文  参考訳（メタデータ） (2025-03-29T08:46:13Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks [2.2713084727838115]
  本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。 提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
  論文  参考訳（メタデータ） (2023-05-25T10:19:13Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Towards a machine learning pipeline in reduced order modelling for inverse problems: neural networks for boundary parametrization, dimensionality reduction and solution manifold approximation [0.0]
  逆問題、特に偏微分方程式の文脈では、膨大な計算負荷を必要とする。 ニューラルネットワークを用いた数値パイプラインを用いて,問題の境界条件のパラメータ化を行う。 これは、インレット境界のアドホックなパラメトリゼーションを提供することができ、迅速に最適解に収束する一般的な枠組みに由来する。
  論文  参考訳（メタデータ） (2022-10-26T14:53:07Z)
• Manipulating the Dynamics of a Fermi Resonance with Light. A Direct Optimal Control Theory Approach [0.0]
  量子力学問題に対する直接最適制御理論は、それ自体が従来の間接最適制御の代替として興味深いものであることを示している。 本稿では,一般的なフェルミ共振モデルの例を用いて,この手法の適用範囲を,正確なウェーブパケット伝搬の場合にまで拡張する。
  論文  参考訳（メタデータ） (2021-08-27T14:30:03Z)
• Direct Optimal Control Approach to Laser-Driven Quantum Particle Dynamics [77.34726150561087]
  間接制御理論に対する頑健で柔軟な代替手段として, 直接最適制御を提案する。 この方法は、バイスタブルポテンシャルにおけるレーザー駆動のウェーブパレットダイナミクスの場合に説明される。
  論文  参考訳（メタデータ） (2020-10-08T07:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。