論文の概要: Reciprocity Separates Gradient Flow from Rotation in Conservative Physical Learning
- arxiv url: http://arxiv.org/abs/2608.30778v1
- Date: Mon, 31 Aug 2026 13:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.421507
- Title: Reciprocity Separates Gradient Flow from Rotation in Conservative Physical Learning
- Title(参考訳): 相互性は、保守的物理学習における回転からのグラディエントフローを分離する
- Authors: Ruiwu Niu, Xiaowen Bi, Michaël Antonie van Wyk,
- Abstract要約: 物理的学習により、トレーニング可能な材料やネットワークは、物理応答を使ってエラー信号を運ぶことができる。
このようなシステムが従来の勾配勾配に従っているか、それとも真に異なる学習軌道に沿って進化するかを問う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physical learning lets a trainable material or network use its own physical response to carry error signals, reducing the need for a separately programmed backward computation. We ask what determines whether such a system follows conventional gradient descent or evolves along a genuinely different learning trajectory. Our canonical model is a directed layered transport network in which every node redistributes a fixed amount of flow, so learning preserves positivity and total mass. In this model, conservation constrains only the allowable learning directions. Within the matched response class studied here, adjoint matching gives the physical output response a symmetric form. Non-negative mode-wise feedback then produces a reciprocal closed-loop response and a reweighted gradient flow. Adding an antisymmetric boundary component makes the closed-loop response rotational: the learning path can turn while the error driving that update still decreases at that moment. Turning is not automatically beneficial. Its finite-step effect is set by local curvature, and its accumulated effect also depends on step selection and on the new states visited along the path. Numerical consistency checks reproduce the exact response structure, predict the sign of the local effect across new network families, and show how trajectory drift can negate a local advantage. These results separate the roles of conservation, reciprocity, and nonreciprocity in physical learning.
- Abstract(参考訳): 物理学習により、トレーニング可能な材料やネットワークは、独自の物理応答を使用してエラー信号を運ぶことができ、個別にプログラムされた後方計算が不要になる。
このようなシステムが従来の勾配勾配に従っているか、それとも真に異なる学習軌道に沿って進化するかを問う。
我々の標準モデルは、各ノードが一定量のフローを再分配する有向層輸送ネットワークであり、学習は肯定性と総質量を保存する。
このモデルでは、保護は許容できる学習方向のみを制約する。
ここで研究されたマッチング応答クラスの中で、随伴マッチングは物理出力応答を対称形式にする。
非負モードフィードバックは、相互閉ループ応答と重み付き勾配流を生成する。
反対称境界コンポーネントを追加することで、クローズドループ応答の回転が実現される。
回転は自動的には役に立たない。
その有限ステップ効果は局所曲率によって設定され、その累積効果はステップの選択と経路に沿って訪れた新しい状態にも依存する。
数値的な整合性チェックは、正確な応答構造を再現し、新しいネットワークファミリ間の局所効果のサインを予測し、軌道のドリフトが局所的優位性をどのように否定するかを示す。
これらの結果は、物理学習における保存、相互性、非相互性の役割を分けている。
関連論文リスト
- Perturbative Contrastive Physical Learning [1.3831855739681835]
摂動コントラスト物理学習(PCPL)は、物理的状態間の測定可能なコントラストから学習が出現する一般的な枠組みである。
我々はPCPLが局所的な感度や大域的逆プロブレム構造を反映できるが、集中的な勾配計算を必要としないことを示した。
我々は, (i) 測定された変位と力を用いて接着剛性を更新するスプリングネットワーク, (ii) クアッドX線測定により訓練された連続可変フォトニック回路, およびジャコビアンの有限差分推定の2つのプラットフォームでPCPLを実証する。
論文 参考訳(メタデータ) (2026-06-08T17:14:07Z) - Sequential Learning and Catastrophic Forgetting in Differentiable Resistor Networks [0.0]
キルヒホフの法則に支配される微分可能な抵抗ネットワークにおける逐次学習について検討する。
タスクの衝突や新しいタスクへの適応の度合いによって,忘れることが制御されていることを示す。
これらの結果は、可変物質における連続的な学習を研究するための、コンパクトで物理的に解釈可能なテストベッドとして、微分可能な抵抗ネットワークを位置づけている。
論文 参考訳(メタデータ) (2026-05-02T11:15:57Z) - How Transformers Reject Wrong Answers: Rotational Dynamics of Factual Constraint Processing [0.2538209532048866]
モデル処理が誤り継続に対して正しい場合,内部表現がネットワークの全深度にわたってどのように分散するかを検討する。
本稿では,既知の正確かつ不正な単一トークン継続で同一のクエリを提示する手法である強制補完探索を導入する。
まず, 正しい経路と誤経路が回転によって分岐し, 再スケーリングは行わない。
第二に、モデルは間違った入力に対して受動的に失敗せず、正しい答えを積極的に抑制し、内部確率を正しいトークンから遠ざける。
論文 参考訳(メタデータ) (2026-02-25T08:12:47Z) - Curly Flow Matching for Learning Non-gradient Field Dynamics [49.480209466896035]
非勾配場力学を学習するための新しいアプローチであるCurly Flow Matching (Curly-FM)を導入する。
Curly-FMは、Schr"odinger Bridge問題の設計と解決によって、非勾配場力学を学習することができる。
Curly-FMは、基準プロセスと人口限界の両方に適合する軌道を学習することができる。
論文 参考訳(メタデータ) (2025-10-30T16:11:39Z) - The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。
この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
論文 参考訳(メタデータ) (2025-06-16T08:35:16Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳(メタデータ) (2022-09-30T15:15:05Z) - Error-driven Input Modulation: Solving the Credit Assignment Problem
without a Backward Pass [8.39059551023011]
ニューラルネットワークにおける教師付き学習は、一般的にバックプロパゲーションに依存している。
このアプローチには多くの点において生物学的な妥当性が欠如していることが示されている。
本稿では,入力信号がネットワークの誤りに基づいて変調される第2のフォワードパスに置き換えることを提案する。
論文 参考訳(メタデータ) (2022-01-27T17:12:05Z) - Negative Feedback System as Optimizer for Machine Learning Systems [0.19385278572834808]
本稿では, ネガティブフィードバックシステムの関数反転処理が, 機械学習における最適化手法の物理的類似性としてどのように機能するかを述べる。
このプロセスは勾配降下法が故障した場合に微分不可能な関数を学習できることを示す。
論文 参考訳(メタデータ) (2021-03-25T20:13:53Z) - Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。
アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。
また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文 参考訳(メタデータ) (2020-06-21T11:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。