論文の概要: EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents
- arxiv url: http://arxiv.org/abs/2608.01359v1
- Date: Sun, 02 Aug 2026 16:22:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.175448
- Title: EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents
- Title（参考訳）: EviSD: 探索増強剤のエビデンス・コンディション・セルフ蒸留
- Abstract要約: 我々はエビデンス条件の自己蒸留フレームワークであるEviSDを提案する。
検索アクションや黄金の回答のための特権情報として、インスタンスレベルのサポートエビデンスを使用している。
EviSDは、評価されたすべての設定において、マクロ平均のExact Matchを最高に達成する。
- 参考スコア（独自算出の注目度）: 28.95182429824442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Outcome-based reinforcement learning enables search-augmented language agents to learn from verifiable final answers, but its trajectory-level credit cannot distinguish the contributions of individual actions in a multi-turn search process. We propose EviSD, an evidence-conditioned self-distillation framework that uses instance-level supporting evidence as privileged information for search actions and golden answers as complementary privilege for answer actions. During training, the student samples actions from the original context, while the same model re-scores them as a privileged teacher under an action-aligned context. EviSD converts the detached teacher--student gap into a bounded correction to the outcome-derived GRPO advantage and applies it only to generated action spans. This design localizes privileged guidance while preserving the update direction determined by the outcome reward, without an auxiliary distillation objective or any change at inference time. Across seven question-answering benchmarks and three backbones spanning model scales and generations, EviSD achieves the highest macro-average Exact Match in all evaluated settings, outperforming the strongest compared methods by 1.3--2.3 points while modulating only 6.7%--15.1% of response tokens. Code is available at https://github.com/JiananXie/EviSD.
- Abstract（参考訳）: 結果に基づく強化学習により、探索対象言語エージェントは、検証可能な最終回答から学習することができるが、その軌道レベルの信用は、マルチターン検索プロセスにおける個々の行動の貢献を区別することはできない。
本研究では,事例レベルの支持証拠を探索行動の特権情報として利用し,回答行動の補完的特権として黄金回答を用いるエビデンス条件の自己蒸留フレームワークであるEviSDを提案する。
トレーニング中、学生は元のコンテキストからアクションをサンプリングし、同じモデルは、アクション整合したコンテキストの下で特権教師として再スコア付けする。
EviSDは、分離された教師のギャップを境界付き修正に変換し、結果由来のGRPOアドバンテージに変換し、生成されたアクションスパンにのみ適用する。
この設計は、補助蒸留目標や推論時の変更を伴わずに、結果報酬によって決定される更新方向を保持しつつ、特権ガイダンスをローカライズする。
モデルスケールと世代にまたがる7つの問合せベンチマークと3つのバックボーンで、EviSDは評価されたすべての設定において、最も高いマクロ平均エクササイズマッチを達成し、最も優れた比較手法を1.3～2.3ポイント上回り、応答トークンの6.7%～15.1%しか調整していない。
コードはhttps://github.com/JiananXie/EviSD.comで入手できる。
関連論文リスト
- Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents [15.62688304085298]
ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。
On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。
本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
論文 参考訳（メタデータ） (2026-08-13T03:13:18Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - EviBack: Search-Agent Reinforcement Learning via Evidence-Constrained Teacher Backoff [12.413369909547699]
EviBackはエビデンスに制約のある教師のバックオフで、そのようなグループに補助的なスーパービジョンを提供する。
完全に自動化されたエンドツーエンドの GPT- 5.5 アシスト APE パイプラインは、手動で書かれたシングルプロンプトのデュアルタスクの教師から始まる。
論文 参考訳（メタデータ） (2026-07-27T02:59:27Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning [12.013691798765594]
LOTAPOは、後戻り一ターン属性に基づく自己生成プロセススーパービジョン手法である。
各検索ターンに対して、LOTAPOはターンとその検索観察を固定[DELETE]プレースホルダーで置き換える。
このAnswer-Likelihood Gainは、すべての下流相互作用を保存しながらターンの寄与を推定する。
論文 参考訳（メタデータ） (2026-07-15T06:55:28Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。
オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。
本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-14T03:37:27Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。
OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
論文 参考訳（メタデータ） (2026-05-12T17:00:53Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。