論文の概要: TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning

• arxiv url: http://arxiv.org/abs/2608.04007v1
• Date: Tue, 04 Aug 2026 17:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.306224
• Title: TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning
• Title（参考訳）: TurnSight:ツール・インテグレート・推論のためのターンレベルハイドサイト自己蒸留
• Abstract要約: そこで我々はターンレベルのヒンドsight自己蒸留フレームワークであるTurnSightを提案する。 これは、実行条件付き後見から直接監督する。 水平方向の合意を通じて信頼性の高い監視を選択する。
• 参考スコア（独自算出の注目度）: 23.753386035085423
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tool-Integrated Reasoning (TIR) enables LLMs to solve complex tasks through iterative tool interactions. However, existing reinforcement learning methods often rely on trajectory-level supervision, limiting fine-grained credit assignment in long-horizon TIR scenarios. On-policy self-distillation offers denser signals through teacher branches with privileged context, but existing approaches typically derive such context from ground-truth answers or retrieved skills, which may not reflect the states actually visited by the agent. Moreover, token-level supervision fails to capture the turn-level structure of tool interactions. To address this, we propose TurnSight, a turn-level hindsight self-distillation framework that derives supervision directly from execution-conditioned hindsight. It then constructs multiple hindsight views with different lookahead horizons and selects reliable supervision through cross-horizon directional agreement. Finally, the selected hindsight signal is normalized across sibling rollouts and used to adaptively modulate RL advantages while preserving their original optimization direction. Extensive experiments on three benchmarks demonstrate the effectiveness of TurnSight. Our codes are available at https://github.com/quchangle1/TurnSight.
• Abstract（参考訳）: Tool-Integrated Reasoning (TIR) は、反復的なツールインタラクションによってLLMが複雑なタスクを解決できるようにする。 しかし、既存の強化学習手法は、長い水平TIRシナリオにおけるきめ細かいクレジット割り当てを制限し、軌跡レベルの監督に依存していることが多い。 オンラインの自己蒸留は、特権的な文脈を持つ教師の分枝を通してより密集したシグナルを提供するが、既存のアプローチは、通常、地上の真実の答えや、エージェントが実際に訪れた州を反映しない技術からそのような文脈を導き出す。 さらに、トークンレベルの監視は、ツールインタラクションのターンレベルの構造をキャプチャできない。 この問題を解決するために,ターンレベルのヒンジシット自己蒸留フレームワークであるTurnSightを提案する。 次に、異なる視野の地平線で複数の後視ビューを構築し、水平方向の合意を通じて信頼性の高い監視を選択する。 最後に、選択した後光信号は兄弟ロールアウト間で正規化され、元の最適化方向を保ちながらRLの利点を適応的に変調する。 3つのベンチマークに関する大規模な実験は、TurnSightの有効性を示している。 私たちのコードはhttps://github.com/quchangle1/TurnSight.comで公開されています。

関連論文リスト

• LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation [25.555783105371574]
  本稿では,リフレクションをメモリ制御ポリシとして定式化するトレーニングフレームワークを提案する。 LoongReflectは、ルックアヘッドとイントラグラディエントスタイルの調整機構を通じて、2つの補完的な信号を結合する。 マルチホップ検索強化生成および数学的推論ベンチマークの実験は、一貫した改善を示す。
  論文  参考訳（メタデータ） (2026-08-12T11:56:03Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
  マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。 キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。 PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-15T04:46:23Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
  Re-TRACはクロス軌道探索を行うエージェントフレームワークである。 Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:58:07Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Offline RLAIF: Piloting VLM Feedback for RL via SFO [4.391505380846452]
  VLM(Vision-Language Models)は、アクション条件のトレーニングデータがないため、制御タスクを解く能力に制限がある。 AIフィードバックからの強化学習における重要な課題は、VLM由来の信号を学習プロセスに統合する方法を決定することだ。
  論文  参考訳（メタデータ） (2025-03-02T23:52:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。