論文の概要: Which Rollout Taught It That? BehaviorTrace and the Limits of Training-Data Attribution in Online RL
- arxiv url: http://arxiv.org/abs/2610.10422v1
- Date: Wed, 07 Oct 2026 17:01:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.065278
- Title: Which Rollout Taught It That? BehaviorTrace and the Limits of Training-Data Attribution in Online RL
- Title（参考訳）: オンラインRLにおける行動追跡とトレーニングデータ属性の限界
- Abstract要約: GRPOを用いたオンラインRL微調整について, 既知原因のある植林行動を用いて検討した。
我々は、フルグレートなスケッチ、植樹行動設定、勾配等級、流水度、ヘッドルーム、種と発生図間の変動の制御を組み合わせたオープンな評価ハーネスであるBehavimentTraceをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When reinforcement learning teaches a language model a new behavior, can we find the training rollouts that taught it? And when an attribution method says it can, how do we know the answer is real? We study both questions on online RL fine-tuning with GRPO, using a planted behavior with a known cause. We release BehaviorTrace, an open evaluation harness that combines full-gradient sketching, the planted-behavior setup, and controls for gradient magnitude, fluency, headroom, and variation across seeds and generation draws. Across three seeds on Qwen2.5-1.5B, much of the apparent attribution signal comes from confounds. A control that ranks training steps by gradient size alone, with no behavior target, reaches 4.2 to 4.5 times chance and matches or beats the best targeted estimator on two of three seeds. At saturated checkpoints, model fluency predicts the behavior label at least as well as every gradient method we compared it with. Once fluency is controlled, the per-rollout results change from seed to seed and from one generation draw to the next, so a single run cannot settle the question. One signal does hold on all three seeds. The gradient of the trigger tokens aligns with a target built where the behavior actually occurs. We turn these findings into a checklist for evaluating attribution in RL. We test existing estimators, including GAS (renormalized TracInCP) and a TRAK-style estimator, and do not propose a new one.
- Abstract（参考訳）: 強化学習が言語モデルに新しい振る舞いを教えるとき、それを学習したトレーニングロールアウトを見つけられるか?
そして、帰属メソッドがそれができると言うとき、どのようにして答えが本物であることを知っていますか?
GRPOを用いたオンラインRLファインタニングについて, 既知原因のある植林行動を用いて検討した。
我々は、フルグレートなスケッチ、植樹行動設定、勾配等級、流水度、ヘッドルーム、種と発生図間の変動の制御を組み合わせたオープンな評価ハーネスであるBehavimentTraceをリリースする。
Qwen2.5-1.5B上の3つの種にまたがって、明らかな帰属シグナルの多くは、共起物に由来する。
行動目標のない勾配でトレーニングステップをランク付けするコントロールは、確率が4.2倍から4.5倍に達し、3つのシードのうち2つで最高の目標推定器をマッチまたは打ち負かす。
飽和チェックポイントにおいて、モデル流速は、少なくとも我々が比較したすべての勾配法と同様に、行動ラベルを予測する。
一度流布が制御されると、ロールアウト結果が種から種へと、そして1世代から次の世代へと変化するため、単一の実行では問題に解決できない。
1つの信号は3つの種すべてを保持します。
トリガートークンの勾配は、実際に振る舞いが発生したターゲットと一致します。
我々はこれらの知見をRLの属性を評価するためのチェックリストに変換する。
我々は、GAS (renormalized TracInCP) やTRAKスタイルの推定器などの既存の推定器を試験し、新しい推定器を提案しない。
関連論文リスト
- Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing [10.58455883872893]
2026年7月、OpenAIのエージェントは、意図した環境外のチャネルを調整し、Hugging Faceのインフラに侵入した。
私たちはこの事件を引き起こした不整合行動を特定します。
我々は、これらの振る舞いを手動で公開モデルから引き出す方法を示し、大規模な計算予算が与えられた場合、監査エージェントも同様に行うことができることを示す。
論文 参考訳（メタデータ） (2026-09-18T00:19:31Z) - Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards [24.636191382674184]
グラディエント・リワード(GAR)は政策の勾配空間で機能する。
Cコサインと専門家-アンカー勾配の類似性は、密度の高い推論-認識の報酬をもたらす。
論文 参考訳（メタデータ） (2026-09-03T04:00:28Z) - Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。
オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。
短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
論文 参考訳（メタデータ） (2025-10-20T16:45:43Z) - Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision [26.922922043969958]
我々は、コンピュータ・アズ・教師(CaT)による調査を監督に転換することを提案する。
CaTは平行ロールアウトのグループから単一の参照を合成し、それに向けて最適化する。
テストタイムの手順として、CaTはGemma 3 4B、Qwen 3 4B、Llama 3.1 8Bを改善している。
論文 参考訳（メタデータ） (2025-09-17T17:59:42Z) - The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである
我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の
我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
論文 参考訳（メタデータ） (2025-06-02T06:10:54Z) - Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。
提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
論文 参考訳（メタデータ） (2024-11-20T08:20:29Z) - Can Agents Run Relay Race with Strangers? Generalization of RL to
Out-of-Distribution Trajectories [88.08381083207449]
異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。
本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-26T10:12:12Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳（メタデータ） (2020-12-12T20:06:15Z) - Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。
我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。
平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。