論文の概要: Unified dynamics of training, learning, inference, and reinforcement in neural networks

• arxiv url: http://arxiv.org/abs/2611.01345v2
• Date: Thu, 05 Nov 2026 04:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.286081
• Title: Unified dynamics of training, learning, inference, and reinforcement in neural networks
• Title（参考訳）: ニューラルネットワークにおけるトレーニング、学習、推論、強化の統一力学
• Abstract要約: 9つのナノGPT実験でトレーニング-学習-推論関係を確立した。 これらの関係を、5つの追加のニューラルネットワークアーキテクチャでテストしました。 推論結果とその後のトレーニングのリンクは、これらの関係を統一的なトレーニング-学習-推論-強化ダイナミクスに閉じる。
• 参考スコア（独自算出の注目度）: 1.090221427575275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Through nine nanoGPT experiments, we established training-learning-inference relations: realized updates elicit state-dependent finite-amplitude responses; learning persistently reorganizes distributed functional support, with target-specific readout-boundary crossings determining capability transitions; inference recruits learned support without changing the learned state. Factors identified in the fifth experiment yielded a direct predictor of post-update capability transitions, achieving 91.43% accuracy and 91.49% four-way macro recall across 5,088 targets. We tested these relations and prediction across five additional neural architectures. In a seventh system, concentrated correct feedback eroded previously mastered skills; rebalanced feedback restored their accuracy from 70.31% to 99.48%. Linking inference consequences to subsequent training closes these relations into unified training-learning-inference-reinforcement dynamics. We subsequently established a unified system of dynamical equations, used it to reconcile positive and negative findings across existing research, and derived mathematical relationships in other neural-network theories using only the assumptions of the original studies.
• Abstract（参考訳）: 9つのナノGPT実験を通じて、状態依存有限振幅応答の更新を実現すること、学習が分散機能サポートを永続的に再構成すること、目標固有の読み取り境界交差が能力遷移を決定すること、学習状態を変更せずに支援を学習すること、など、トレーニング-学習-推論関係を確立した。 第5実験で同定された因子は、更新後の能力遷移を直接予測し、精度91.43%、マクロリコール91.49%を5,088ターゲットで達成した。 これらの関係と予測を、5つの追加のニューラルネットワークアーキテクチャでテストしました。 7番目のシステムでは、厳密な正しいフィードバックはそれまでの熟達したスキルを侵食し、再均衡したフィードバックは精度を70.31%から99.48%に回復した。 推論結果とその後のトレーニングのリンクは、これらの関係を統一的なトレーニング-学習-推論-強化ダイナミクスに閉じる。 我々はその後、力学方程式の統一的な体系を確立し、それを用いて、既存の研究全体にわたって正および負の発見を調整し、元の研究の仮定のみを用いて、他のニューラルネットワーク理論における数学的関係を導出した。

関連論文リスト

• Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning [51.56484100374058]
  大規模言語モデル(LLM)のオンライン自己蒸留(OPSD)は、以前に獲得した知識を保存しながら推論能力を向上させる能力を示した。 連続学習における後学習---OPSDと教師付き微調整(SFT)のダイナミクスの統一的理論的解析を行う。 理論的解析により, 信頼性のある連続的推論は, 事前学習中に確立した推論構造と, ポストトレーニング後の更新がどのように相互作用するかに依存することが示された。
  論文  参考訳（メタデータ） (2026-10-04T13:13:18Z)
• Explainable Deep Learning of Resting-State Functional Connectomes Reveals Network Biomarkers of Adolescent Intelligence [2.063951345911127]
  我々は,流動,結晶化,全知能を予測するために,疎投影残差ネットワークに基づく説明可能なディープラーニングフレームワークを開発した。 このフレームワークは既存のアプローチよりも優れており、Pearson相関は流体、結晶化、全知能の0.44、0.58、0.56である。 これらの結果から,局所的な計算ハブと分散通信経路の相互作用から知能が出現することが示唆された。
  論文  参考訳（メタデータ） (2026-09-27T10:10:51Z)
• Training, learning and inference: unified dynamics of neural systems [1.090221427575275]
  生成元f=(u,tau,omega,z;rho)という原子生成事実を定義し,その起源,実現された変換,具体的発生,生成結果,関係の役割を記録できる。 生成ファクトグラフ(GFG)にコンパイルされたこれらの事実は、生成履歴を保存するAIネイティブでコンパイル可能な科学的事実基盤を提供する。
  論文  参考訳（メタデータ） (2026-08-21T10:37:20Z)
• Path-Coordinated Continual Learning with Neural Tangent Kernel-Justified Plasticity: A Theoretical Framework with Near State-of-the-Art Performance [0.618778092044887]
  破滅的な忘れは継続的学習の根本的問題の一つである。 提案した枠組みは、原理的可塑性境界のニューラル・タンジェント・カーネル(NTK)理論を統一する。 このフレームワークは、厳密な統計的保証で発見されたパスの80%を検証する。
  論文  参考訳（メタデータ） (2025-11-03T19:55:59Z)
• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training [21.163070161951868]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を改善する。 特定のレイヤを選択的に更新し、他のレイヤを保存することで、ネットワークの学習能力を大幅に向上させることができることを示す。 重みの選択的保存, 更新, 修正を行うために, 勾配プロミネンス基準を利用した新しいトレーニングフレームワークCUREを提案する。
  論文  参考訳（メタデータ） (2024-01-26T15:33:39Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。