論文の概要: SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

• arxiv url: http://arxiv.org/abs/2605.18299v1
• Date: Mon, 18 May 2026 12:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.602232
• Title: SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning
• Title（参考訳）: SD-Search: 検索強化推論のためのオンポリシックな隠れた自己蒸留
• Abstract要約: 結果回帰強化学習では、ロールアウトにおけるすべての決定は同じ軌道レベルの報酬を共有し、ステップ固有のクレジットなしで個々のクエリを残します。 最近のプロセススーパービジョンアプローチでは、ポリシー外部からステップレベルのシグナルを描画することで、このギャップに対処している。 SD-Searchは,政策自体の段階的な監督を,政治上の後見的な自己蒸留を通じて引き起こす。
• 参考スコア（独自算出の注目度）: 8.584560411480647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search-augmented reasoning agents interleave internal reasoning with calls to an external retriever, and their performance relies on the quality of each issued query. However, under outcome-reward reinforcement learning, every search decision in a rollout shares the same trajectory-level reward, leaving individual queries without step-specific credit. Recent process-supervision approaches address this gap by drawing step-level signals from outside the policy, relying either on a much larger teacher model, or on sub-question annotations produced by a stronger external system. In contrast, we propose SD-Search, which derives step-level supervision from the policy itself through on-policy hindsight self-distillation, requiring neither an external teacher nor additional annotations. In SD-Search, a single model plays two roles that differ only in conditioning: a student that sees only the context available at inference time, and a teacher that additionally conditions on a compact hindsight block summarizing the search queries and final outcomes of a group of rollouts sampled from the same question. Since the teacher knows how each rollout unfolded and which ones succeeded, its query distribution implicitly marks which decisions were worth making, and the student is trained to recover this behavior by minimizing the token-level Jensen--Shannon divergence to the teacher at search-query positions. This layers a dense, step-level signal on top of GRPO's coarse trajectory reward. Crucially, this signal is produced by the policy itself within the standard RL training loop, without external model inference, auxiliary annotation pipeline, or additional training stage.
• Abstract（参考訳）: 検索強化推論エージェントは、内部推論と外部レトリバーへの呼び出しをインターリーブし、そのパフォーマンスは各発行されたクエリの品質に依存する。 しかし、結果回帰強化学習では、ロールアウトにおける全ての検索決定は同じ軌道レベルの報酬を共有し、ステップ固有のクレジットなしで個々のクエリを残す。 近年のプロセススーパービジョンのアプローチは、より大きな教師モデルや、より強力な外部システムによって生成されたサブクエクションアノテーションに頼って、ポリシーの外部から段階的なシグナルを引き出すことによって、このギャップに対処している。 対照的に、SD-Searchは、外部の教師も追加のアノテーションも必要とせず、政策自体を段階的に監督する。 SD-Searchでは、1つのモデルが条件付けでのみ異なる2つの役割を演じている: 推論時に利用可能なコンテキストしか見ない学生と、同じ質問からサンプリングされたロールアウトのグループの最終結果と検索クエリを要約したコンパクトな後見ブロックに条件を付ける教師である。 教師は、各ロールアウトがどのように展開され、どれが成功したかを知っているので、そのクエリ分布は、どの決定に価値があるかを暗黙的に示し、学生は、検索クエリ位置において、トークンレベルのジェンセン=シャノンの発散を最小限にして、この振る舞いを回復するように訓練される。 これはGRPOの粗い軌道報酬の上に、密度の高いステップレベルのシグナルを積み重ねる。 重要なことに、この信号は、外部モデル推論、補助アノテーションパイプライン、追加のトレーニングステージなしで、標準のRLトレーニングループ内でポリシー自体によって生成される。

関連論文リスト

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents [15.62688304085298]
  ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。 On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。 本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
  論文  参考訳（メタデータ） (2026-08-13T03:13:18Z)
• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
  大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。 オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。 我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T18:57:44Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• CuSearch: Curriculum Rollout Sampling via Search Depth for Agentic RAG [18.557095117884472]
  CuSearchは、Search-Depth Greedy Allocation上に構築されたカリキュラムのロールアウトサンプリングフレームワークである。 我々は、ZeroSearch上の標準GRPOよりも最大11.8の正確なマッチングポイントを達成することで、CuSearchが継続的にパフォーマンスを改善していることを示す。 これらの結果は、RLVRベースのエージェントRAGトレーニングにおける検索監督密度の信頼性、アノテーションなしプロキシとして、軌跡ごとの探索深度を確立した。
  論文  参考訳（メタデータ） (2026-05-12T06:42:17Z)
• Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
  Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。 CCSは教師付きベースラインに匹敵する性能を示す。 これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-14T17:00:18Z)
• SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval [61.73547199231695]
  SubSearchは、結果のみの監視から中間報酬信号に移行する特殊なフレームワークである。 実験により、本質的な報酬を伴う中間的推論ステップの報酬はより堅牢な推論トレースをもたらすことが示された。 SubSearchは、複雑なクエリ応答のための検索エンジンをよりよく統合できる推論トレースを構築するのに役立つ。
  論文  参考訳（メタデータ） (2026-04-08T13:09:47Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
  経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。 従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
  論文  参考訳（メタデータ） (2025-08-23T01:15:57Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)
• Diversify & Conquer: Outcome-directed Curriculum RL via Out-of-Distribution Disagreement [30.21954044028645]
  強化学習(Reinforcement Learning, RL)は、エージェントがドメイン知識にアクセスせずに探索すべき非情報探索問題の課題に直面することが多い。 本研究は、D2C(Diversify for Disagreement & Conquer)と呼ばれるカリキュラムRLの新しいアプローチを提案する。 従来のカリキュラム学習法とは異なり、D2Cは望ましい結果のごくわずかの例しか必要とせず、どんな環境でも機能する。
  論文  参考訳（メタデータ） (2023-10-30T04:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。