論文の概要: LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation
- arxiv url: http://arxiv.org/abs/2608.11967v1
- Date: Wed, 12 Aug 2026 11:56:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.566666
- Title: LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation
- Title（参考訳）: LoongReflect:グローバルパースペクティブ蒸留による検索エージェントの長距離反射促進
- Abstract要約: 本稿では,リフレクションをメモリ制御ポリシとして定式化するトレーニングフレームワークを提案する。
LoongReflectは、ルックアヘッドとイントラグラディエントスタイルの調整機構を通じて、2つの補完的な信号を結合する。
マルチホップ検索強化生成および数学的推論ベンチマークの実験は、一貫した改善を示す。
- 参考スコア（独自算出の注目度）: 25.555783105371574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model agents increasingly rely on long-horizon reasoning to solve complex tasks involving planning, tool use, and memory. A critical capability in such settings is reflection: assessing trajectory progress, identifying missing evidence and unreliable intermediate states, and deciding whether to continue, revise, or abandon the current branch. Learning effective reflection, however, is challenging because reflection is performed locally within the current branch, whereas its utility can only be determined by its contribution to the final trajectory outcome. This local-global mismatch makes outcome-based reinforcement learning provide only local, sparse and delayed supervision for reflective decisions. To solve these, we propose LoongReflect, a training framework that formulates reflection as a memory-control policy. The agent operates over a reversible trajectory tree using explicit reflect and backtrack actions. Reflection consolidates verified facts, missing evidence, and branch-specific risks into working memory, while backtracking removes an unreliable branch from the active context and preserves a concise corrective lesson. To learn this policy, LoongReflect combines two complementary signals through a look-ahead, extragradient-style coordination mechanism. A fast channel distills globally informed reflective behavior from a privileged teacher, with supervision restricted to reflection and backtracking tokens. A slow channel optimizes complete trajectories using outcome-based GRPO, aligning local control decisions with final task success. Experiments on multi-hop retrieval-augmented generation and mathematical reasoning benchmarks demonstrate consistent improvements over outcome-only reinforcement learning and self-distillation baselines.
- Abstract（参考訳）: 大規模言語モデルエージェントは、計画、ツール使用、メモリを含む複雑なタスクを解決するために、長い水平推論に依存している。
軌道の進行を評価し、行方不明の証拠と信頼できない中間状態を特定し、現在の分岐を継続、修正、または放棄するかを決定する。
しかし、有効反射の学習は、反射が現在の分岐内で局所的に実行されるのに対して、その効用は最終軌道結果への寄与によってのみ決定されるため、困難である。
このローカル・グローバルのミスマッチは、結果に基づく強化学習によって、反射的決定のための局所的、疎外的、遅延的な監督のみを提供する。
そこで本研究では,リフレクションをメモリ制御ポリシとして定式化するためのトレーニングフレームワークであるLoongReflectを提案する。
エージェントは、明示的なリフレクションとバックトラックアクションを使用して、可逆的なトラジェクトリツリー上で動作する。
リフレクションは、検証された事実、欠落した証拠、およびブランチ固有のリスクをワーキングメモリに集約する一方、バックトラッキングは、信頼できないブランチをアクティブなコンテキストから取り除き、簡潔な修正レッスンを保存する。
このポリシーを学ぶために、LoongReflectは2つの補完的な信号を組み合わせる。
ファストチャンネルは、リフレクションとバックトラッキングトークンに制限された教師から世界的に情報を得た反射行動を蒸留する。
スローチャネルは、結果ベースのGRPOを使用して完全なトラジェクトリを最適化し、ローカル制御決定と最終タスクの成功を一致させる。
マルチホップ検索強化生成および数学的推論ベンチマークの実験は、結果のみの強化学習と自己蒸留ベースラインよりも一貫した改善を示す。
関連論文リスト
- ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。
Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。
ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文 参考訳（メタデータ） (2026-09-01T10:54:13Z) - Reflection Steering: Disentangling Reflection from Reasoning in Activation Space for Token-Efficient Inference [14.39927122740842]
リフレクションは単に確立した結果を再チェックし、トークンの推論を無駄にし、遅延を増加させます。
既存のリフレクションステアリング手法の多くは、ラベル由来の平均差方向を予め設定された層に付加する。
リフレクションステアリング(Reflection Steering)は,LLM内でのリフレクション関連を制御するためのトレーニング不要なフレームワークである。
論文 参考訳（メタデータ） (2026-08-26T08:55:28Z) - ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning [84.29802893743991]
欠陥軌跡は, 反射する欠陥軌跡として扱われる場合においても, 貴重な推論信号が得られることを示す。
本報告では,プライバシ教育におけるGolden Negative Trajectoriesから学習する軽量なプラグイン・アンド・プレイフレームワークであるReflectRLを提案する。
論文 参考訳（メタデータ） (2026-08-04T17:40:08Z) - Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。
GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
論文 参考訳（メタデータ） (2026-07-30T11:49:46Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。
リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action
また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
論文 参考訳（メタデータ） (2026-02-24T18:55:18Z) - RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
Re-TRACはクロス軌道探索を行うエージェントフレームワークである。
Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-02T18:58:07Z) - SAMULE: Self-Learning Agents Enhanced by Multi-level Reflection [14.40651157974557]
SAMULEは、多層反射合成に基づいて訓練された振り返り言語モデルを活用した、自己学習エージェントのための新しいフレームワークである。
まず、細かなエラー訂正のための単一軌道学習(マイクロレベル)、同じタスクの複数の試行でエラーを発生させるタスク内学習(メソレベル)、さまざまなタスク障害から同一の型付きエラーに基づいて伝達可能な洞察を抽出するタスク間学習(マクロレベル)の3段階にわたる高品質なリフレクションを合成する。
論文 参考訳（メタデータ） (2025-09-24T21:02:15Z) - Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。
私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。
本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
論文 参考訳（メタデータ） (2025-06-10T12:40:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。