論文の概要: The Kinetics of Training: A Driven-Nucleation Rate Law for Emergence, Plasticity Loss, and Circuit Control in Language Models
- arxiv url: http://arxiv.org/abs/2607.27281v1
- Date: Wed, 29 Jul 2026 13:46:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.281735
- Title: The Kinetics of Training: A Driven-Nucleation Rate Law for Emergence, Plasticity Loss, and Circuit Control in Language Models
- Title（参考訳）: 学習の速度論:言語モデルにおける創発性、塑性損失、回路制御のための駆動栄養率法
- Abstract要約: 言語モデルでは、回路の最後の部分が一つの試みで整列すると、その能力が現れる。
機能形成の速度制限ステップとして,非分節的関節アライメントが有効であることを示す。
- 参考スコア（独自算出の注目度）: 4.778602479004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A capability appears in a language model when the last parts of its circuit align in one stochastic attempt, and getting all but one right is worth nothing. We show this no-partial-credit joint alignment is the rate-limiting step of capability formation. Two fingerprints: in a shortcut-free apparatus a five-part circuit missing three waits as long as a three-part circuit missing three (1.19-1.37), so the wait counts missing parts, not size; and on Pythia across seven capabilities and three scales, ablating one part leaves a median 17% of the capability in 32 of 32 discriminating cells, where partial credit predicts 50-83% (p = 2e-10), while a random non-part head leaves 100%. One rare event whose barrier grows with missing parts yields a rate equation -- sites x attempts x drive x exp(-beta*K), minus destruction -- read three ways, each preregistered with frozen constants. Forward: a capability flat at baseline ignites at a step of our choosing once the mix passes a concentration floor (10/10 above, 0/12 below), and while still flat its arrival is datable from its precursor to 5% median error on six held-out models. Backward: the delay to learn a withheld capability grows with waiting until, past a critical step, it never ignites -- yet validation loss falls smoothly throughout, so standard monitors are blind to it. We locate the damage (heads commit to the base data) and isolate the cure: re-initializing only the query-key slices restores learnability (6/6) while the value slices do nothing (0/6). We prove the mechanism in a controlled gated-attention model: occupation forces a deadline whose consequences need no mixing assumption. Completed: SGD's noise fails the fluctuation-dissipation test, so we install one and anneal, melt and pin circuits on schedule. Scope: conjunction circuits in transformers to 1.4B.
- Abstract（参考訳）: 言語モデルでは、回路の最後の部分が1つの確率的試みで整列すると、その能力が現れる。
機能形成の速度制限ステップとして,非分節的関節アライメントが有効であることを示す。
2つの指紋:ショートカットのない装置では、3つの部分の回路が欠落している3つの部分(1.19-1.37)で3つの部分の回路が欠落しているため、ウェイトは7つの機能と3つのスケールのPythiaにおいて、1つの部分は32個の識別セルの32の能力の中央値17%を残し、その部分のクレジットは50-83%(p = 2e-10)であり、ランダムな非部分の頭部は100%である。
欠落した部分でバリアが成長するまれな事象は、速度方程式(サイト x try x drive x exp(-beta*K)、最小破壊)を生じ、それぞれ凍結定数で事前登録された3つの方法を読む。
フォワード: ベースラインで平坦な能力は、混合が濃度フロア(上10/10以上、下0/12以下)を通過した後に選択するステップで発火する。
後方: 維持できない能力を学ぶのが遅れるのは、重要なステップを経た時点では、決して発火しないため、バリデーションの損失がスムーズに減少するため、標準的なモニターは無視される。
クエリキースライスのみを再初期化すると、学習可能性(6/6)が回復し、値スライスが何もしない(6/6)。
我々は、制御されたゲート-アテンションモデルにおいて、そのメカニズムを証明している: 職業は、結果が混合仮定を必要としない期限を強制する。
完成: SGDのノイズは変動散逸試験に失敗するため、1つとアニール、メルト、ピン回路をスケジュール通りにインストールする。
スコープ: 変換器の接続回路を1.4Bにする。
関連論文リスト
- Anatomy of a Sound Neural Reasoner: One-Shot Amortization, First-Pass Poisoning, and Search Inertness in Clue-Rich Completion [0.0]
ヒントに富んだ数独では、フォワードパスは基本的にグリッド全体をコミットする。
検索開始前にすべてのハードスライス障害が決定され、最初のパスが真のソリューションで要求される値を確実に削除する。
手がかりに富んだ補完では、LDTのようなシステムは、学習された探索手順ではなく、一発の償却予測器である。
論文 参考訳（メタデータ） (2026-07-22T00:05:34Z) - Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits [47.668752416295185]
条件付き共アブレーションは、各単位のアブレーション効果が一次集合が取り除かれたときにどれだけ増大するかを問う。
GPT-2の小型IOI回路では、CoAxはバックアップヘッドのリカバリを0.33から0.91 ROC-AUCに引き上げる。
論文 参考訳（メタデータ） (2026-07-02T09:32:57Z) - What Actually Works for Spacecraft Fault-Tolerant Control: An Honest Settled-Gate Benchmark of Learned and Classical Methods [2.28438857884398]
近年のFTCの研究は、宇宙船のアクチュエーターの故障で高い成功を収めたことを報告している。
我々は、成功がトレーニングで見たことのない欠陥にそれを保持することを意味しているとき、宇宙船が何を指しているのかを尋ねる。
私たちは、落ち着いたゲートの周りに構築されたベンチマークで回答します。
論文 参考訳（メタデータ） (2026-06-24T04:08:39Z) - Reliability-Asymmetric Spacecraft Autonomy: Co-Designing a Capable Learned GNC Stack with a Verified, Adaptation-Aware Runtime Shield [2.28438857884398]
ルールベースの自律性は認証可能であるが不安定であり、学習された自律性は能力があるが検証するのは難しい。
AMPLE-GNCは3層誘導、ナビゲーション、制御スタックである。
文法制約付き復号化による事前訓練された360Mモデルの微調整は、ハードな出力値保証を与える。
我々は,有能な制御器であっても,ラッチングセーフホールドシールドが抑制可能であることを示す。
論文 参考訳（メタデータ） (2026-06-24T03:55:21Z) - When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms [43.8784307709823]
物理信号の長距離自己回帰予測は誤差蓄積によって制限される。
物理的に構造化されたテストベッドとして,合成3成分地震計を用いて,このようなロールアウトが安定であるかどうかを問う。
論文 参考訳（メタデータ） (2026-06-09T13:46:14Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Architectural Observability Collapse in Transformers [0.0]
トレーニングは、出力信頼が露呈しない内部的な意思決定品質のシグナルを保持します。
信頼制御は、平均60.3%の生プローブ信号を6つのファミリーの14モデルで吸収する。
Llama 3.1 8Bは、同じ32層、32頭、4096面の形状で崩壊する。
論文 参考訳（メタデータ） (2026-04-27T02:39:02Z) - Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。
コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。
我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
論文 参考訳（メタデータ） (2026-04-13T17:40:31Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。