論文の概要: Training Trajectories Determine Circuit Removability in Annealable Soft-Prior Transformers

• arxiv url: http://arxiv.org/abs/2609.10287v1
• Date: Wed, 09 Sep 2026 15:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.073356
• Title: Training Trajectories Determine Circuit Removability in Annealable Soft-Prior Transformers
• Title（参考訳）: 熱可塑性軟質変圧器の回路除去性判定のための訓練軌道
• Abstract要約: 我々は,小型トランスフォーマーが検索回路の学習に役立てるかどうかを検証した。 Smooth fade-to-zeroトレーニングは、高いゼロゲート精度を維持する。 メカニスティックトレースは、ゲートがゼロに達すると回路の整合が生じることを示している。
• 参考スコア（独自算出の注目度）: 17.85943095126145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Soft positional priors can help small Transformers learn retrieval circuits, but it is unclear whether the resulting circuits remain functional once the prior is removed. We test this with an annealable soft-prior Transformer whose attention biases can be learned, faded, or zeroed during training and evaluation. On associative recall, unforced models perform well with the prior active ($0.772 \pm 0.020$) but collapse at zero gate ($0.095 \pm 0.009$). Smooth fade-to-zero training preserves high zero-gate accuracy ($0.734 \pm 0.028$), whereas forced-zero training, hard switching, and post hoc continuation fail to recover the same effect. The pattern also appears on Markov induction. Linear regression ICL provides a boundary case because zero-gate training can learn that task directly. Mechanistic traces show that circuit consolidation occurs after the gate reaches zero, even though the responsible heads vary across seeds. These results suggest that circuit removability in small discrete retrieval tasks depends on the training trajectory, not just the final architecture.
• Abstract（参考訳）: ソフトな位置プリエントは、小さなトランスフォーマーが検索回路を学習するのに役立つが、前者が削除された後も結果の回路が機能するかどうかは不明である。 我々は、トレーニングや評価中に注意バイアスを学習し、失明し、あるいはゼロにすることのできる、アニール可能なソフトプライアトランスを用いてこれをテストする。 連想的リコールでは、非強制モデルは以前のアクティブ(0.772 \pm 0.020$)とうまく機能するが、ゼロゲート(0.095 \pm 0.009$)で崩壊する。 Smooth fade-to-zeroトレーニングは高いゼロゲート精度(0.734 \pm 0.028$)を維持するが、強制ゼロトレーニング、ハードスイッチング、ポストホック継続は同じ効果を回復できない。 このパターンはマルコフ誘導にも現れる。 線形回帰ICLは、ゼロゲートトレーニングが直接そのタスクを学ぶことができるため、境界ケースを提供する。 メカニカル・トレースは、原因となる頭部が種によって異なるにもかかわらず、ゲートがゼロになった後に回路の整合が生じることを示している。 これらの結果から,小さな離散的検索タスクにおける回路の除去性は,最終アーキテクチャだけでなく,学習軌道に依存することが示唆された。

関連論文リスト

• Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning [1.215621649989295]
  モデル軌道が安定すると, 微調整がより安全になるのに対して, 早期ラウンドでは再訓練が最も有用であることを示す。 オンライン安定化信号を監視する適応型トレーニングスケジュールであるHybridALを提案する。
  論文  参考訳（メタデータ） (2026-09-06T19:45:17Z)
• Exact Network Surgery: Functional Invariance and Gradient Plasticity in Reactive Computational Graphs [0.0]
  ライブ計算グラフに残差ブロックを挿入する際の場所を形式化する。 挿入したパラメータは挿入直後にトレーニング可能であることを示す。 フラグ付き予備虫垂は、挿入後ゲートダイナミクスに関する最初の単座観察を報告している。
  論文  参考訳（メタデータ） (2026-07-18T00:48:24Z)
• Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts [16.36140240070991]
  ループ変換器の適応深度をトラジェクトリ・リードアウトレンズを用いて検討する。 固定最優先深度監視は,その中間状態が有用な停止信号を示す難易度対応トラジェクトリを生成する。 ループ変換器の適応深さを軌跡形成と出口読み出しの連成問題として再検討した。
  論文  参考訳（メタデータ） (2026-07-08T02:54:03Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision [50.61441331643804]
  強化学習(Reinforcement Learning、RLVR)は、広く適用可能で強力であるが、訓練中に緩やかな監督しか提供しない二進的な報酬に依存している。 蒸留は、一般的に外部の教師や高品質なデモンストレーションを使って得られる、密集したトークンレベルの監督を提供する。 自己蒸留ゼロ(SD-Zero)は,RLよりもかなり訓練効率が高く,外部教師や高品質な実演を必要としない手法である。
  論文  参考訳（メタデータ） (2026-04-13T19:46:55Z)
• Breaking the Tuning Barrier: Zero-Hyperparameters Yield Multi-Corner Analysis Via Learned Priors [22.16752289030178]
  既存の手法は基本的なトレードオフに直面しており、単純なモデルは自動化されるが非線形回路では失敗する。 私たちは、数百万の回帰タスクで事前トレーニングされた基礎モデルから、エンジニアリングされた事前を学習された事前に置き換えることで、この障壁を突破します。 提案手法は,最先端の精度(平均MREが0.11%以下)とゼロチューニングとを一致させ,総検証コストを10倍以上削減する。
  論文  参考訳（メタデータ） (2026-03-13T15:40:57Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• Leakage in restless quantum gate calibration [0.5439020425819]
  マルコフ連鎖に基づくレスレス回路実行シミュレータを開発し, リークの影響について検討する。 レスレスキャリブレーションは, 現在の単一ビットゲートの10～4ドルのゲート忠実度に比べ, 最大0.5%の漏れを許容することを示す。 この結果から、レスレス回路の実行が非計算状態の誤分類に対してレジリエンスであることを示す標準量子ビット状態判別法が得られた。
  論文  参考訳（メタデータ） (2023-04-18T20:59:16Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy [71.25689267025244]
  移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。 以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T23:49:53Z)
• Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
  本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。 本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
  論文  参考訳（メタデータ） (2020-02-20T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。