論文の概要: IGSD: Environment-Verified Hindsight Self-Distillation for Search Agents
- arxiv url: http://arxiv.org/abs/2609.32694v1
- Date: Sat, 26 Sep 2026 14:57:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 21:12:42.711197
- Title: IGSD: Environment-Verified Hindsight Self-Distillation for Search Agents
- Title（参考訳）: IGSD:サーチエージェントのための環境確認型ヒンズートセルフ蒸留
- Abstract要約: Information-Gain-Gated Self-Distillationは、環境フィードバックによるオンライントークンの提案を検証する。
IGSDは教師のトークン提案と学生のサンプルトークンを一致したクエリにまとめ、同じリトリバーで同じ失敗状態から実行します。
- 参考スコア（独自算出の注目度）: 37.0115028771202
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: On-policy self-distillation densifies agent training without external teachers: a policy conditioned on privileged hindsight provides step-level guidance for its own unprivileged rollouts. For search agents, however, hindsight can make the teacher prefer a query that does not improve retrieval from the student's state. Existing methods either distill this preference directly or filter it with model-internal scores, but neither strategy verifies the query's executed retrieval consequence. We propose Information-Gain-Gated Self-Distillation (IGSD), which verifies on-policy token proposals with environment feedback before distilling them. Treating each query token as a micro-action, IGSD completes the teacher's token proposal and the student's sampled token into matched queries and executes both from the same failed state with the same retriever. Shared counterfactual controls account for query-conditioned shifts in answer likelihood, so their difference, the executed paired information gain, provides a relative utility contrast for the retrieved documents. IGSD uses this contrast as a positive-only soft weight for candidate-pair distillation, while leaving the GRPO objective unchanged and confining verification to training. Across seven single-hop and multi-hop QA benchmarks, IGSD reaches macro-average exact-match accuracies of 42.8% and 47.0% with 3B and 7B policies, respectively, without inference-time verification. These results support environment-verified hindsight as an effective approach to reliable action-level supervision for search agents.
- Abstract（参考訳）: 政治的自己蒸留(On-policy self-distillation)は、外部の教師がいないエージェントの訓練を強化している。
しかし, 検索エージェントの場合, 教師は, 生徒の状態からの検索を改善することのできないクエリを好むことができる。
既存の方法は、この好みを直接蒸留するか、モデル内部スコアでフィルタリングするが、どちらの戦略もクエリの実行結果を検証する。
本稿では, 環境フィードバックによるオンライントークンの提案を蒸留前に検証するIGSD(Information-Gain-Gated Self-Distillation)を提案する。
各クエリトークンをマイクロアクションとして扱うことで、IGSDは教師のトークン提案と生徒のサンプルトークンを一致したクエリにまとめ、同じリトリバーで同じ障害状態から実行する。
共有対物的制御は、クエリ条件付きシフトを解答確率で説明するため、それらの差、すなわち実行されたペア情報ゲインは、検索されたドキュメントに対して相対的なユーティリティコントラストを提供する。
IGSDは、このコントラストを候補ペア蒸留の正の軟度として用い、GRPOの目的は変化せず、訓練に精査する。
7つのシングルホップとマルチホップのQAベンチマークで、IGSDは平均42.8%と47.0%の精度に達し、3Bと7Bのポリシーは推論時検証無しである。
これらの結果は,検索エージェントに対する信頼性の高い行動レベルの監視に対する効果的なアプローチとして,環境検証後見を支援する。
関連論文リスト
- EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。
EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文 参考訳（メタデータ） (2026-09-02T21:00:35Z) - Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents [15.62688304085298]
ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。
On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。
本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
論文 参考訳（メタデータ） (2026-08-13T03:13:18Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents [28.95182429824442]
我々はエビデンス条件の自己蒸留フレームワークであるEviSDを提案する。
検索アクションや黄金の回答のための特権情報として、インスタンスレベルのサポートエビデンスを使用している。
EviSDは、評価されたすべての設定において、マクロ平均のExact Matchを最高に達成する。
論文 参考訳（メタデータ） (2026-08-02T16:22:27Z) - A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。
我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
論文 参考訳（メタデータ） (2026-06-22T03:09:21Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。
オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。
本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-14T03:37:27Z) - Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers [25.040339775169883]
本研究では,無条件学生の教師として,ルーリックに条件付けされた基本方針が機能する検証不要な学習方法を提案する。
Qwen-2.5 (3B, 7B) と Qwen3-Thinking (4B, 8B) の医療分野におけるモデル全体で、RGSD は審査ベースの RuricO に匹敵する満足度を達成している。
論文 参考訳（メタデータ） (2026-06-10T17:53:19Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。