論文の概要: Same Trajectory, Different Knowledge: Information-State-Aware On-Policy Distillation for Search Agents

• arxiv url: http://arxiv.org/abs/2611.01987v1
• Date: Sun, 01 Nov 2026 15:24:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:38:01.127491
• Title: Same Trajectory, Different Knowledge: Information-State-Aware On-Policy Distillation for Search Agents
• Title（参考訳）: 知識の異なる同一の軌道:検索エージェントのための情報状態認識オンポリティ蒸留
• Abstract要約: インフォメーション・ステート・アウェア蒸留(Information-State-Aware Distillation)は、教師のフィードバックを学生の現実の回復性に適応させる。 ISA-Distillは、学生がアクション関連知識を確実に回復できるかを推定する。
• 参考スコア（独自算出の注目度）: 22.016865976740235
• License:
• Abstract: On-policy distillation trains search agents with teacher feedback on student-generated trajectories. Recent methods augment the teacher's context with supporting evidence, reference answers, or hindsight information. However, this privileged information may allow the teacher to rely on facts that the student cannot reliably recover from its current state. The resulting information-state mismatch can lead the teacher to undervalue retrieval that helps the student establish those facts. To address this mismatch, we introduce Information-State-Aware Distillation (ISA-Distill), which adapts teacher feedback to the student's factual recoverability. ISA-Distill estimates how reliably the student can recover action-relevant knowledge and derives teacher feedback for the same sampled action from two complementary views. The fact-use view supplies the teacher with the relevant fact, producing feedback that guides the student in using knowledge. The evidence-seeking view instead presents the information need, producing feedback that guides the student in acquiring supporting evidence. The two signals are weighted toward fact use when recoverability is high and toward evidence seeking when it is low, and the resulting feedback guides policy optimization. Experiments across diverse QA benchmarks and model scales demonstrate improved answer accuracy and retrieval efficiency. Our code and model checkpoints will be open-sourced.
• Abstract（参考訳）: オンライン蒸留は、教師が生み出す軌跡を反映した検索エージェントを訓練する。 近年の手法は,教師の文脈を,証拠,参考回答,後見情報などで強化している。 しかし、この特権情報により、教師は生徒が現在の状態から確実に回復できない事実に頼ることができる。 結果として得られる情報状態のミスマッチにより、教師はこれらの事実を確立するのに役立てるアンダーバリュー検索に導くことができる。 このミスマッチに対処するために,教師のフィードバックを学生の現実的回復性に適応させるISA-Distillation(Information-State-Aware Distillation)を導入する。 ISA-Distillは、学生がアクション関連知識を確実に回復できるかを推定し、2つの相補的な視点から同じサンプルアクションに対する教師のフィードバックを導出する。 ファクトユース・ビューは、教師に関連する事実を提供し、学生が知識を使うことをガイドするフィードバックを生み出す。 証拠探しの視点は、情報の必要性を提示し、学生が証拠を得るためのフィードバックを生み出す。 この2つの信号は、回復可能性が高いときの事実利用と、低いときの証拠を求めるための重み付けであり、結果として得られるフィードバックはポリシーの最適化を導く。 様々なQAベンチマークとモデルスケールによる実験では、回答精度と検索効率が改善された。 私たちのコードとモデルチェックポイントはオープンソースになります。

関連論文リスト

• TeachBack: Learning to Teach via Bidirectional Preference Optimization for On-Policy Self-Distillation [30.678402742490373]
  On-policy self-distillation (OPSD)は、同じモデルからインスタンス化された教師から学習できる言語モデルである。 政治自己蒸留のための双方向の嗜好学習フレームワークであるTeachBackを紹介した。
  論文  参考訳（メタデータ） (2026-10-21T03:59:23Z)
• On-Policy Visual Evidence Distillation [29.145226066460193]
  本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。 ReVuEは、同じクエリに対して複数の学生生成軌跡を比較し、観察された視覚的証拠を要約し、最初の失敗を診断する。 我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。
  論文  参考訳（メタデータ） (2026-09-29T06:47:11Z)
• Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
  言語フィードバックはエラーを特定し、修正を処方する。 オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。 このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
  論文  参考訳（メタデータ） (2026-09-28T15:20:35Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• What Drives Interactive Improvement from Feedback? [0.7330217643497284]
  本研究では,繰り返し試みだけで得られる利得を超えて,自然言語フィードバックがいつ改善をもたらすかを検討する。 マルチターン言語エージェントの設定では、より高い最終的な精度は有用なフィードバックを反映することができるが、再サンプリング、フォーマット修正、追加のテスト時間計算から生じることもある。 我々は,Omni-MATH,Codeforces,BBEH Linguini,ARC-AGI1にまたがる学生教育プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-29T18:06:36Z)
• Distilling Realizable Students from Unrealizable Teachers [9.968083244726941]
  特権情報に基づく政策蒸留について検討し, 一部観察のみの学生政策は, フルステートアクセスの教師から学ぶ必要がある。 既存のアプローチでは、教師が実現可能ではあるが準最適のデモを作成するように変更するか、または学生に頼って、欠落した情報を独立して調査する。 i) 学生が教師に補正を問い合わせるべき時期を適応的に決定する模倣学習手法と, (ii) 効率的な探索のためにトレーニングを初期化する場所を選択する強化学習手法を導入する。
  論文  参考訳（メタデータ） (2025-05-14T16:45:51Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。