論文の概要: ReflectPO: Reflection-Guided Policy Optimization for Long-Horizon LLM Agents
- arxiv url: http://arxiv.org/abs/2610.30933v1
- Date: Thu, 22 Oct 2026 08:54:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.289043
- Title: ReflectPO: Reflection-Guided Policy Optimization for Long-Horizon LLM Agents
- Title（参考訳）: ReflectPO: 長距離LDMエージェントの反射誘導型ポリシー最適化
- Abstract要約: 大規模言語モデル(LLM)は、持続的な環境相互作用によって複雑なタスクに取り組むことができる。
自律的エラー回復のための強化学習フレームワークである反射誘導型ポリシー最適化(ReflectPO)を提案する。
我々は,Reflectropoがエージェントの逸脱を効果的に認識し,誤った状態から回復し,タスク完了に向けて前進し続けることを示す。
- 参考スコア（独自算出の注目度）: 18.50857956276202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With external tools, large language models (LLMs) can tackle complex tasks through sustained environmental interaction. LLM-based agents are therefore increasingly used to tackle complex long-horizon tasks in real-world environments. However, these tasks involve sequential, interdependent decisions and changes in environmental states. Early execution errors affect subsequent interaction histories and environmental states, and their effects accumulate along the decision chain. To address this challenge, we propose Reflection-Guided Policy Optimization (ReflectPO), a reinforcement learning framework for autonomous error recovery in long-horizon tasks. ReflectPO comprises two core components. The first is Reflection-Guided Sampling. We use branch differences and repeated visits in interaction trajectories to construct hints for error recovery. The second is Tree-Structured Credit Assignment. We organize sampled trajectories into trees and assign action-level credit using parent--child reward differences and recovery gains. Experiments over two long-horizon tool-use benchmarks show that ReflectPO outperforms multiple existing baselines in most domains. It also achieves the best overall performance on average. Further analyses show that ReflectPO effectively improves agents' ability to recognize their own deviations, recover from erroneous states, and continue making progress toward task completion.
- Abstract（参考訳）: 外部ツールを使用することで、持続的な環境相互作用を通じて、大規模言語モデル(LLM)が複雑なタスクに対処できる。
したがって、LLMをベースとしたエージェントは、現実世界の環境における複雑な長距離タスクに取り組むのにますます使われている。
しかし、これらのタスクには、逐次的かつ相互依存的な決定と環境状態の変化が含まれる。
初期の実行エラーはその後の相互作用履歴と環境状態に影響を与え、その影響は決定連鎖に沿って蓄積される。
この課題に対処するために,長距離タスクにおける自律的エラー回復のための強化学習フレームワークである反射誘導政策最適化(ReflectPO)を提案する。
ReflectPOは2つのコアコンポーネントから構成される。
1つ目はリフレクションガイドサンプリングである。
我々は、分岐差分と繰り返しの相互作用軌跡の訪問を利用して、エラー回復のためのヒントを構築している。
2つ目はTree-Structured Credit Assignmentである。
サンプルトラジェクトリを木に整理し,親子報酬差と回復率を用いて行動レベルクレジットを割り当てた。
2つの長期ツール使用ベンチマークの実験から、ReflectorPOは、ほとんどのドメインにおいて、既存のベースラインよりも優れています。
また、平均して最高のパフォーマンスを達成する。
さらに分析したところ、Reflectropoはエージェントの偏差を認識し、誤った状態から回復し、タスク完了に向けて前進し続ける能力を効果的に向上することが示された。
関連論文リスト
- ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。
多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。
LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-13T13:38:02Z) - Agent-Reflex: Teaching Language Agents to Act Reflectively [135.81207159393864]
Agent-Reflexは、プロアクティブリフレクションをエージェントにインセンティブを与えるためのトレーニングフレームワークである。
Qwen3-8Bで構築されたエージェント-リフレックスは5つの長期ツール使用ベンチマークで58.6に到達した。
論文 参考訳（メタデータ） (2026-10-13T08:36:20Z) - LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation [25.555783105371574]
本稿では,リフレクションをメモリ制御ポリシとして定式化するトレーニングフレームワークを提案する。
LoongReflectは、ルックアヘッドとイントラグラディエントスタイルの調整機構を通じて、2つの補完的な信号を結合する。
マルチホップ検索強化生成および数学的推論ベンチマークの実験は、一貫した改善を示す。
論文 参考訳（メタデータ） (2026-08-12T11:56:03Z) - RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。
出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。
Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文 参考訳（メタデータ） (2026-07-28T17:12:41Z) - ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents [52.531681772560724]
Supervised Fine-tuning (SFT) は主に軌道軌道上で構築されており、ツール故障後の回復のための信号はほとんど得られない。
ツール使用エージェントの反射誘導補正を学習するフレームワークであるReGRPOを紹介する。
GTAとGAIAの実験では、同じバックボーンとツールスイートの下で、ReGRPOは一貫して強力なオープンソースベースラインを上回っている。
論文 参考訳（メタデータ） (2026-06-30T09:19:38Z) - Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution [25.26084224278813]
Role-Agentは単一のLarge Language Model(LLM)を使用してエージェントと環境の両方として同時に機能する。
Role-Agentはパフォーマンスを継続的に改善し、強いベースラインよりも平均4%以上向上する。
論文 参考訳（メタデータ） (2026-06-09T14:28:07Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - Internalizing Agency from Reflective Experience [20.650609947690196]
LEAFEは、リカバリエージェンシーをリフレクティブエクスペリエンスから内部化するフレームワークである。
ベースモデルよりも一貫してPass@1を改善し、結果駆動ベースラインよりも高いPass@kを実現している。
論文 参考訳（メタデータ） (2026-03-17T17:50:47Z) - Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。
リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action
また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
論文 参考訳（メタデータ） (2026-02-24T18:55:18Z) - PRISMA: Reinforcement Learning Guided Two-Stage Policy Optimization in Multi-Agent Architecture for Open-Domain Multi-Hop Question Answering [26.994531058178982]
大規模コーパスに対する現実世界のオープンドメイン問題への回答は、レトリーバル・拡張ジェネレーション(RAG)システムにおいて重要な課題である。
近年の研究では、検索強化推論プロセスのエンドツーエンド最適化に強化学習(RL)を採用している。
PRISMAはPlan-Retrieve-Inspect-Memoizeアーキテクチャを特徴とする分離誘導型フレームワークである。
論文 参考訳（メタデータ） (2026-01-09T01:38:38Z) - SAMULE: Self-Learning Agents Enhanced by Multi-level Reflection [14.40651157974557]
SAMULEは、多層反射合成に基づいて訓練された振り返り言語モデルを活用した、自己学習エージェントのための新しいフレームワークである。
まず、細かなエラー訂正のための単一軌道学習(マイクロレベル)、同じタスクの複数の試行でエラーを発生させるタスク内学習(メソレベル)、さまざまなタスク障害から同一の型付きエラーに基づいて伝達可能な洞察を抽出するタスク間学習(マクロレベル)の3段階にわたる高品質なリフレクションを合成する。
論文 参考訳（メタデータ） (2025-09-24T21:02:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。