論文の概要: Sequential Learning and Catastrophic Forgetting in Differentiable Resistor Networks

• arxiv url: http://arxiv.org/abs/2605.01383v1
• Date: Sat, 02 May 2026 11:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.743082
• Title: Sequential Learning and Catastrophic Forgetting in Differentiable Resistor Networks
• Title（参考訳）: 微分型レジストネットワークにおける逐次学習とカタストロフィックフォーミング
• Authors: Maniru Ibrahim,
• Abstract要約: キルヒホフの法則に支配される微分可能な抵抗ネットワークにおける逐次学習について検討する。 タスクの衝突や新しいタスクへの適応の度合いによって,忘れることが制御されていることを示す。 これらの結果は、可変物質における連続的な学習を研究するための、コンパクトで物理的に解釈可能なテストベッドとして、微分可能な抵抗ネットワークを位置づけている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable physical networks provide a simple setting in which learning can be studied through the interaction between trainable parameters and physical equilibrium constraints. We investigate sequential learning in differentiable resistor networks governed by Kirchhoff's laws. Although individual input--output mappings can be learned by gradient-based adjustment of edge conductances, sequential training on conflicting tasks produces catastrophic forgetting. We show that forgetting is controlled by task conflict and by the degree of adaptation to the new task. Uniform anchoring and normalised gradient-weighted anchoring reduce forgetting only by increasing the final loss on the new task, giving a clear forgetting--adaptation trade-off. We also show that forgetting is associated with localised conductance changes on high-current edges, giving a physical interpretation as reconfiguration of dominant transport pathways. Broader random-task ensembles show that the strongest forgetting occurs when the second task reverses the output ordering imposed by the first task. Finally, comparisons across Erdős--Rényi, small-world, scale-free, and random-geometric graph ensembles show that topology changes the forgetting--adaptation balance. These results position differentiable resistor networks as compact, physically interpretable testbeds for studying continual learning in tunable matter.
• Abstract（参考訳）: 微分可能な物理ネットワークは、トレーニング可能なパラメータと物理平衡制約の間の相互作用を通じて学習を研究することができる単純な設定を提供する。 キルヒホフの法則に支配される微分可能な抵抗ネットワークにおける逐次学習について検討する。 個々の入力出力マッピングは、エッジコンダクタンスの勾配に基づく調整によって学習できるが、競合するタスクの逐次トレーニングは破滅的な忘れを生じさせる。 タスクの衝突や新しいタスクへの適応度によって,忘れることが制御されていることを示す。 均一なアンカーと正規化された勾配重み付きアンカーは、新しいタスクの最終的な損失を増やすことでのみ、忘れることを減らす。 また,高電流エッジ上での局所的なコンダクタンス変化は,移動経路の再構成として物理的に解釈されることが示唆された。 より広いランダムタスクアンサンブルは、第2のタスクが第1のタスクによって課された出力順序を反転させたときに、最も強い忘れが生じることを示している。 最後に、エルデシュ=レーニイ、小世界、スケールフリー、ランダムな幾何学的グラフアンサンブル間の比較は、トポロジーが忘れる-適応のバランスを変えることを示している。 これらの結果は、可変物質における連続的な学習を研究するための、コンパクトで物理的に解釈可能なテストベッドとして、微分可能な抵抗ネットワークを位置づけている。

関連論文リスト

• Task Switching Without Forgetting via Proximal Decoupling [43.88767637201092]
  継続的な学習において、最大の課題は、古い知識を忘れずに新しい情報を学ぶことである。 一般的な解決策は、このトレードオフを正規化を通じて解決し、以前のタスクに不可欠なパラメータの変更を罰する。 本稿では,作業者の分割によるタスク学習と安定性の強化を分離するアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-20T21:28:13Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。