論文の概要: The Forward-Backward Disconnect: State Dynamics, Credit Assignment, and Biological Grounding in Neural Computation
- arxiv url: http://arxiv.org/abs/2608.19995v1
- Date: Thu, 20 Aug 2026 13:09:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.569527
- Title: The Forward-Backward Disconnect: State Dynamics, Credit Assignment, and Biological Grounding in Neural Computation
- Title（参考訳）: フォワード-バックワード切断: ニューラル計算における状態ダイナミクス, クレジット割り当て, 生物学的グラウンドリング
- Abstract要約: 我々は、状態力学構造、クレジット割り当て機構、生物学的基盤という3つの軸に沿って、ニューラルモデルファミリーにまたがる分類法を開発した。
静的、再帰的、注意ベース、状態空間、連続時間、暗黙的、スパイク、生物学的に可塑性、ニューロモルフィックなファミリーにわたって、フォワードダイナミクスは多様化している。
最も高い実験スケールは、大域的または密集的な勾配由来の誤差伝播機構に集中している。
- 参考スコア（独自算出の注目度）: 0.3695480271934741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A recurring pattern in neural computation is the reintroduction of dynamical and biological structure into models originally simplified for scalable optimization. Early feedforward networks reduced biological neurons to threshold or rate-like summation units, an abstraction compatible with global-gradient training at scale. Since then, forward computation has diversified: modern architectures carry recurrent state, retrieve from long contexts through attention and associative memory, compress histories through structured state-space dynamics, evolve in continuous time, settle to implicit equilibria, and communicate through sparse spikes. Training has diversified less. Scalable learning remains concentrated around backpropagation, backpropagation through time, adjoint methods, implicit differentiation, and surrogate-gradient variants. We call this asymmetry the forward-backward disconnect and develop a taxonomy spanning neural model families along three coupled axes: state-dynamics structure, credit-assignment mechanism, and biological grounding. Forward and learning grounding are treated separately, and the unit of analysis is the architecture-learning configuration rather than the architecture name alone. Across static, recurrent, attention-based, state-space, continuous-time, implicit, spiking, biologically plausible, and neuromorphic families, forward dynamics have diversified while the highest demonstrated scales remain concentrated in global or closely gradient-derived error-propagation mechanisms. Closing this disconnect requires better alignment among state dynamics, credit assignment, and computational substrate.
- Abstract（参考訳）: ニューラルコンピューティングにおける繰り返しパターンは、スケーラブルな最適化のためにもともと単純化されたモデルに動的および生物学的構造を再導入することである。
初期のフィードフォワードネットワークは、生物学的ニューロンを閾値やレートライクな総和単位に減らした。
現代のアーキテクチャは、リカレントな状態を持ち、注意と連想記憶を通して長いコンテキストから取り出し、構造化された状態空間のダイナミクスを通して履歴を圧縮し、連続的に進化し、暗黙の平衡に落ち着き、スパーススパイクを通して通信する。
訓練はより多様になった。
スケーラブルな学習は、バックプロパゲーション、時間によるバックプロパゲーション、随伴メソッド、暗黙の差別化、代理段階の変種を中心に集中している。
我々は、この非対称性を前方方向の切断と呼び、状態力学構造、クレジット割り当て機構、生物学的接地という3つの結合軸に沿ってニューラルモデルファミリーにまたがる分類法を開発した。
フォワードと学習基盤は別々に扱われ、分析の単位はアーキテクチャ名のみではなくアーキテクチャ学習構成である。
静的、反復的、注意ベース、状態空間、連続時間、暗黙的、スパイク、生物学的に可塑性、ニューロモルフィックな家系全体にわたって、フォワードダイナミクスは多様化し、最も実証されたスケールは、大域的または密集的な勾配に基づくエラープロパゲーション機構に集中している。
この切断を閉鎖するには、状態力学、クレジット割り当て、計算基板間の整合性を改善する必要がある。
関連論文リスト
- Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory [6.1311571881384745]
時間変化入力下での多様体の破砕を防止するためには,分割正規化が数学的に不可欠であることを示す。
その結果,分割正規化は高忠実度連続表現を学習するための重要な計算機構であることがわかった。
論文 参考訳（メタデータ） (2026-08-03T09:20:05Z) - Preserving Plasticity in Continual Learning via Dynamical Isometry [5.9237150961415]
非定常性下での深層ニューラルネットワークの継続的なトレーニングは、可塑性の進行的な損失をもたらし、最終的にはさらなる学習を制限する。
実験的なニューラルカーネルに可塑性を関連付け,動的アイソメトリーを連続学習における可塑性保存の鍵となるメカニズムとして同定する。
論文 参考訳（メタデータ） (2026-06-08T17:24:15Z) - AtomicMotion: Learning Human Motion From Different Human Parts [9.72019653340761]
私たちは,3つのコアイノベーションを通じて身体のダイナミクスを分離し,再統合するように設計されたフレームワークであるAtomicMotionを紹介します。
まず,スケルトンを機能的意図に基づいて5つの異なるクラスタに分解する論理体分割方式を提案する。
第二に、スパース入力を高次元ポーズに頑健にマッピングするために、マスク付きフルボディプレコンディショニング戦略を採用する。
第3に,バニラ空間的注意の限界に対処し,キネマティック・アテンションを提案する。
論文 参考訳（メタデータ） (2026-05-21T15:39:38Z) - Kirchhoff-Inspired Neural Networks for Evolving High-Order Perception [51.28469959548178]
我々はKirchhoff-Inspired Neural Network (KINN)を提案する。
KINNは、基本的な常微分方程式から数値的に安定な状態更新を導き、より高階の進化成分の明示的な分離と符号化を可能にする。
論文 参考訳（メタデータ） (2026-03-25T06:17:31Z) - Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。
我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。
アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文 参考訳（メタデータ） (2025-10-14T03:03:08Z) - Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。
そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-10-13T22:28:34Z) - Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。
本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
論文 参考訳（メタデータ） (2025-09-05T12:05:09Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳（メタデータ） (2025-07-15T17:57:48Z) - Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。
本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
論文 参考訳（メタデータ） (2025-03-20T12:28:08Z) - A Spacetime Perspective on Dynamical Computation in Neural Information Processing Systems [43.02233537621737]
ニューラル計算における新しい「時空」の視点を導入する。
時間的ダイナミクスは、自然のニューラルネットワークが近似的な視覚量をエンコードする、ということが示される。
論文 参考訳（メタデータ） (2024-09-20T17:25:37Z) - Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks [0.06752396542927405]
学習可能なシナプス遅延を2つのアプローチで組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。
後者のアプローチでは、ネットワークは接続を選択してプーンし、スパース接続設定の遅延を最適化する。
本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。
論文 参考訳（メタデータ） (2024-07-07T11:55:48Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。