論文の概要: Travel Back To Move Forward: Retrospective Exploration and Evolving for Long Horizon Agents

• arxiv url: http://arxiv.org/abs/2610.13058v1
• Date: Fri, 09 Oct 2026 06:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.421642
• Title: Travel Back To Move Forward: Retrospective Exploration and Evolving for Long Horizon Agents
• Title（参考訳）: 前へ戻る:ロングホライゾンエージェントのふりかえりと進化
• Abstract要約: エージェントが環境を以前の状態に戻すことを可能にするフレームワークであるReTRAILを紹介する。 エージェントの知識が前進し続ける間、環境状態は後退する。 ReTRAILにより、非生産状態からエージェントを巻き戻し、放棄されたブランチからの洞察を用いて、その後の探索をガイドできることが示される。
• 参考スコア（独自算出の注目度）: 47.33408935433902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents increasingly operate in long-horizon environments where early mistakes can trigger cascading failures and trap agents in dead-end trajectories. Agents must therefore be able to proactively recover from such states and turn their exploratory experience into guidance for subsequent decisions. We introduce ReTRAIL, a framework that enables agents to rewind the environment to earlier states while preserving valid progress and carrying forward knowledge learned from abandoned exploration. The environment state moves backward while the agent's knowledge continues to move forward. ReTRAIL trains a shared policy with two complementary signals: State-Anchored GRPO compares alternative continuations from revisited states to improve execution, while a branch-advancement reward guides reflection through the progress of subsequent exploration. Experiments across four interactive benchmark MineSweeper, Sokoban, ALFWorld and ScienceWorld show that simply adding a rewind primitive provides limited benefit and can even degrade performance. In contrast, ReTRAIL enables agents to rewind from unproductive states and use insights from abandoned branches to guide subsequent exploration. These results demonstrate the value of coupling environment rewinding with experience reuse within an ongoing task for long-horizon task solving. The code is available at https://github.com/whi497/ReTRAIL.
• Abstract（参考訳）: 大規模言語モデルエージェントは、早期のミスがカスケード障害を引き起こし、終末軌道でエージェントをトラップする、長期的環境において、ますます運用される。 そのため、エージェントは積極的にそのような状態から回復し、探索経験をその後の決定のためのガイダンスにする必要がある。 ReTRAILは、エージェントが有効な進捗を保ち、放棄された探索から学んだ知識を伝達しながら、環境を以前の状態に戻すことを可能にするフレームワークである。 エージェントの知識が前進し続ける間、環境状態は後退する。 ReTRAILは2つの補完的なシグナルで共有ポリシーを訓練する: State-Anchored GRPOは再検討された状態からの代替の継続を比較して実行を改善する。 MineSweeper、Sokoban、ALFWorld、ScienceWorldの4つのインタラクティブベンチマークの実験では、リウインドプリミティブを追加するだけでメリットが制限され、パフォーマンスが低下する可能性がある。 対照的にReTRAILは、エージェントが非生産的な状態から振り返り、放棄されたブランチからの洞察を使ってその後の探索をガイドすることを可能にする。 これらの結果から,長期的課題解決の継続作業において,経験的再利用を伴う結合環境の巻き戻しの価値が示された。 コードはhttps://github.com/whi497/ReTRAILで公開されている。

関連論文リスト

• Seek Before You Move: Evidence Seeking for Progress Grounding in Vision-Language Navigation [34.31330349660828]
  Vision-Language Navigation (VLN) では、エージェントが長い水平方向の指示と部分的な自我中心の観察からタスクの進捗を継続的に下方修正する必要がある。 既存のVLMベースのナビゲーションエージェントは、通常、利用可能な観測のみを推論し、タスク関連証拠が欠落している場合でも自信を保っている。 SeekVLNは,課題関連観測の積極的取得と意味的進捗推論を結合したエビデンス検索フレームワークである。
  論文  参考訳（メタデータ） (2026-09-29T12:18:16Z)
• Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents [56.434418859203085]
  大規模言語モデル(LLM)エージェントは、多段階の環境相互作用を通じて、長い水平タスクに対処する。 単一の誤動作は、その後の状態や観測を変更でき、時間とともにエラーが複雑になる。 信頼性回復はロールバック境界制御問題として扱われるべきである。
  論文  参考訳（メタデータ） (2026-09-16T08:26:14Z)
• EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning [25.200068256200293]
  インタラクショントラジェクトリに埋め込まれた再利用可能な探索パターンは、単一のポリシー更新後に大部分が破棄される。 本研究では,検索した経験を仮訓練時の足場として扱うフレームワークであるEDGE(Experience-Distillation for Guided Exploration)を提案する。 EDGEは強力なRLベースラインを最大12.5ポイント改善し、推論時の足場やプロプライエタリなリフレクタを使わずに有効である。
  論文  参考訳（メタデータ） (2026-08-22T13:16:25Z)
• AgentRewind: Recoverable Execution for Long-Horizon LLM Agents [32.44158037765297]
  我々は,エージェントコンテキストと制御環境の整列チェックポイントを記録するランタイムリカバリフレームワークであるAgentRewindを紹介する。 また,タスク完了と長期工学的課題の部分的進捗を評価するベンチマークであるMettleBenchを構築した。
  論文  参考訳（メタデータ） (2026-08-14T15:20:35Z)
• PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents [50.9061759859778]
  PAST-Benchは、保持されたエクスペリエンスがエージェントを時間とともに実際に改善するかどうかを識別するために設計されたベンチマークである。 遅延タスクのゲインと、そのゲインが意図したセーブ、リトリーブ、更新パスに従うかどうかを報告します。 我々はHermes+を開発し、エージェントループの段階にわたって5つのターゲット的介入でHermesを拡張した。
  論文  参考訳（メタデータ） (2026-08-04T17:58:05Z)
• Internalizing Agency from Reflective Experience [20.650609947690196]
  LEAFEは、リカバリエージェンシーをリフレクティブエクスペリエンスから内部化するフレームワークである。 ベースモデルよりも一貫してPass@1を改善し、結果駆動ベースラインよりも高いPass@kを実現している。
  論文  参考訳（メタデータ） (2026-03-17T17:50:47Z)
• RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
  Re-TRACはクロス軌道探索を行うエージェントフレームワークである。 Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:58:07Z)
• Long-Term Exploration in Persistent MDPs [68.8204255655161]
  RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。 本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。 我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
  論文  参考訳（メタデータ） (2021-09-21T13:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。