論文の概要: Scalable Attribution and Control of Model Behavior During Training
- arxiv url: http://arxiv.org/abs/2609.33667v1
- Date: Sun, 27 Sep 2026 15:27:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:54:57.283205
- Title: Scalable Attribution and Control of Model Behavior During Training
- Title（参考訳）: 学習中のモデル行動のスケーラブルな属性と制御
- Abstract要約: トレーニング中のモデル行動の帰属と制御には、各サンプルのコントリビューションを次の更新前に素早く特定する必要がある。
このあいまいさを相互情報を通じて解決し、それぞれの例の貢献について、複合的な行動変化がどの程度の量を示すかを定量化する。
この相互情報は挙動勾配特異性(BGU)の対数関数であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Attributing and controlling model behavior during training requires identifying each example's contribution quickly enough to act before the next update. However, examples in the same training batch can produce similar behavioral changes, making their individual contributions difficult to distinguish. We address this ambiguity through mutual information, accounting for interference within the batch by quantifying how much the combined behavioral change reveals about each example's contribution. We show that this mutual information is a logarithmic function of Behavioral Gradient Uniqueness (BGU). BGU gives the information measure its geometric interpretation. Our Batch-Space Ghost (BS-Ghost) algorithm makes these scores practical inside the training loop through shared computation in batch space, without storing model-sized example gradients. On a complete 1,000-example Qwen2.5-7B-Instruct workload, our BS-Ghost implementation adds 27 seconds (8.0%) to 5.5 minutes of ordinary training. Removal and retraining demonstrate that BGU identifies data that causally shapes final behavior. At each training step, signed information identifies which examples strengthen or weaken the target behavior, explaining how behavior develops during training. Signed information also enables cheap intervention during training: it predicts how changing example weights will affect behavior in the next update. We then use these predictions to choose weights that steer behavior toward a desired target. This makes our framework a practical foundation for scalable oversight and verification of training pipelines and processes, helping evaluators assess model alignment, understand how it develops during training, and guide interventions that shape ongoing learning.
- Abstract（参考訳）: トレーニング中のモデル行動の帰属と制御には、各サンプルのコントリビューションを次の更新前に素早く特定する必要がある。
しかし、同じトレーニングバッチの例では、同じような行動変化が生じ、個々のコントリビューションの識別が困難になる。
このあいまいさを相互情報を通じて解決し、各サンプルの寄与について、組み合わせた行動変化がどれだけの量を示すかを定量化することで、バッチ内の干渉を考慮に入れます。
本稿では,この相互情報は挙動勾配特異性(BGU)の対数関数であることを示す。
BGUはその幾何学的解釈を計測する。
我々のBatch-Space Ghost(BS-Ghost)アルゴリズムは、これらのスコアをモデルサイズのサンプル勾配を格納することなく、バッチ空間での共有計算によってトレーニングループ内で実用的にする。
完全な1000サンプルのQwen2.5-7B-Instructのワークロードでは、BS-Ghostの実装には27秒(8.0%)の通常のトレーニングが5.5分追加されています。
除去と再訓練は、BGUが最終動作を因果的に形作るデータを特定することを示す。
それぞれのトレーニングステップで、署名された情報は、どのサンプルが目標の行動を強化するか、または弱めるかを識別し、トレーニング中に振る舞いがどのように発達するかを説明する。
サインされた情報は、トレーニング中に安価な介入を可能にする。次のアップデートでは、サンプルの重みの変更が振る舞いにどのように影響するかを予測する。
次に、これらの予測を使って、望ましい目標に向かって行動するウェイトを選択します。
これにより、当社のフレームワークは、トレーニングパイプラインとプロセスのスケーラブルな監視と検証のための実践的な基盤となり、モデルアライメントの評価を支援し、トレーニング中にどのように発展するかを理解し、進行中の学習を形作る介入をガイドします。
関連論文リスト
- Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision [49.12474373883331]
固定された反事実的説明に基づいて訓練されたLMが、訓練対象よりも現在の行動に忠実な説明をもたらすことを示す。
この「内省的」結合は、トレーニングの過程における現在の行動と十分な相関が保たれているときに起こる。
また, イントロスペクティブ・カップリング・トラックは, 他のトレーニング後の目標と並行して説明訓練を行う場合, 最新の監視を必要とせず, それらの変化をトラックする。
論文 参考訳（メタデータ） (2026-06-30T17:59:32Z) - Infusion: Shaping Model Behavior by Editing Training Data via Influence Functions [15.843802377872121]
我々のフレームワークであるInfusionは、スケーラブルな影響関数近似を用いて、ドキュメントのトレーニングに小さな摂動を計算する。
Infusionは、少数の明示的な動作例を挿入するベースラインと競合する可能性があることを示す。
予備的な言語実験では、我々のアプローチが目標となる行動の確率を高め、失敗すると、モデルが既に学習した行動の増幅に最も効果的であることを示す。
論文 参考訳（メタデータ） (2026-02-10T17:13:42Z) - Gradient-Weight Alignment as a Train-Time Proxy for Generalization in Classification Tasks [32.61771956544867]
サンプルごとの勾配とモデル重みのコヒーレンスを定量化するグラディエント・ウェイト・アライメント(GWA)を導入する。
実効学習はコヒーレントなアライメントに対応し,不適応は一般化の劣化を示す。
実験により、GWAは最適な早期停止を正確に予測し、モデルの比較を原則とし、影響のあるトレーニングサンプルを特定する。
論文 参考訳（メタデータ） (2025-10-29T13:04:17Z) - Learning to Weight Parameters for Training Data Attribution [62.830878652285406]
本稿では,アノテートラベルを必要とせず,パラメータ重み付けをデータから直接明示的に学習する手法を提案する。
提案手法は,画像分類,言語モデリング,拡散など多種多様なタスクに対する帰属精度を向上し,主題やスタイルといった概念に対する微粒な帰属を可能にする。
論文 参考訳（メタデータ） (2025-06-06T00:32:04Z) - Who Gets Credit or Blame? Attributing Accountability in Modern AI Systems [31.897288482449003]
AIシステムは、通常、複数のステージ事前訓練、微調整ラウンド、そしてその後の適応またはアライメントによって開発される。
これは、デプロイされたモデルが成功したり失敗したり、どのステージが責任を負い、どの程度まで責任を負うかという、説明責任に関する重要な疑問を提起する。
モデル開発プロセスの特定の段階に遡って、モデルの振る舞いをトレースするために、説明責任が問題となる。
論文 参考訳（メタデータ） (2025-05-30T19:27:39Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Simfluence: Modeling the Influence of Individual Training Examples by
Simulating Training Runs [27.314239745883967]
トレーニングデータ属性(TDA)メソッドは、任意の例に対するモデルの予測を、特定の影響力のあるトレーニング例に遡る。
そこで本研究では,TDAの新しいパラダイムであるSimfluenceを提案する。
シムフルエンスは非付加的な相互作用を捉え、個々の損失のスパイクな軌道を驚くほどの忠実さで予測することができる。
論文 参考訳（メタデータ） (2023-03-14T17:47:25Z) - On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [70.82725772926949]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。
本研究では,この現象をトレーニングインスタンスの観点から検討する。
逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
論文 参考訳（メタデータ） (2021-12-14T12:19:24Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳（メタデータ） (2020-12-08T04:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。