論文の概要: ReTTT: Reflection-Driven Test-Time Training via Experience-Based Parametric Memory

• arxiv url: http://arxiv.org/abs/2610.23942v1
• Date: Thu, 08 Oct 2026 04:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 15:17:29.985777
• Title: ReTTT: Reflection-Driven Test-Time Training via Experience-Based Parametric Memory
• Title（参考訳）: ReTTT: 経験に基づくパラメトリックメモリによるリフレクション駆動テストタイムトレーニング
• Abstract要約: ReTTTは、エピソード内で構築され、継続的に修正されるレッスンに対するテストタイムトレーニングを通じて、経験駆動型の自己適応を可能にする。 ALFWorld,ScienceWorld,SWE-bench LiteのReTTTを2つのモデルファミリーを用いて評価した。
• 参考スコア（独自算出の注目度）: 13.345272529669613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents accumulate valuable task-specific information through their actions, observations, and environmental feedback during multi-turn task execution. When effectively used, this information can help agents refine subsequent decisions and improve task performance. However, the learning value of an interaction depends on its context and subsequent feedback, making it challenging to extract reliable, actionable lessons and revise them as the task unfolds. In this paper, we introduce ReTTT, which enables experience-driven self-adaptation through test-time training on lessons constructed and continually revised within an episode. ReTTT lets the agent reflect on interaction feedback, maintain the resulting lessons in an explicit memory, and learn from them by updating an episode-local LoRA adapter while keeping the backbone frozen. The adapted model then performs both subsequent actions and reflection, coupling policy adaptation with the construction of future learning experience. We evaluate ReTTT on ALFWorld, ScienceWorld, and SWE-bench Lite using two model families. ReTTT outperforms trajectory-based test-time training across all six model--benchmark settings, improving task success by up to 12.14 percentage points. A frozen-reflection comparison further shows a 7.14-point benefit from adapting the reflection policy, while trajectory analysis illustrates how adapted reflection derives more task-specific guidance from failed attempts. These findings suggest that learning to reflect on its own behavior can boost agents' performance on long-horizon tasks.
• Abstract（参考訳）: LLMエージェントは、多ターンタスク実行中の行動、観察、環境フィードバックを通じて、貴重なタスク固有情報を蓄積する。 効果的に使用すれば、エージェントがその後の決定を洗練し、タスクのパフォーマンスを向上させるのに役立つ。 しかし、インタラクションの学習価値は、そのコンテキストとその後のフィードバックに依存するため、信頼できる行動可能な教訓を抽出し、タスクが展開するにつれて修正することは困難である。 本稿では,経験駆動型自己適応システムであるRETTTを紹介する。 ReTTTは、エージェントがインタラクションのフィードバックを反映し、結果の教訓を明示的なメモリで保持し、バックボーンを凍結させながら、エピソードローカルなLoRAアダプタを更新することでそれらから学習する。 適応モデルは、その後のアクションとリフレクションの両方を実行し、将来の学習体験の構築とポリシー適応を結合する。 ALFWorld,ScienceWorld,SWE-bench LiteのReTTTを2つのモデルファミリーを用いて評価した。 ReTTTは6つのモデル-ベンチマーク設定でトラジェクトリベースのテストタイムトレーニングを上回り、タスク成功率を最大12.14ポイント向上させる。 凍結反射比較では、反射ポリシーを適応する7.14ポイントの利点が示され、軌道解析では、適応反射が失敗した試みからよりタスク固有のガイダンスを導出する方法が示される。 これらの結果から, エージェントの行動に反映する学習は, 長時間作業におけるエージェントのパフォーマンスを高めることが示唆された。

関連論文リスト

• Harness Learning Enables Generalizable Test-Time Adaptation [75.12882372844764]
  本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。 我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。 推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
  論文  参考訳（メタデータ） (2026-09-28T17:52:54Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
  PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。 SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
  論文  参考訳（メタデータ） (2026-08-02T11:00:04Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• Experiential Reflective Learning for Self-Improving LLM Agents [1.1074589887824053]
  実験的反射学習(ERL:Experiential Reflective Learning)は,迅速な環境適応を実現するシンプルな自己改善フレームワークである。 ERLはタスクの軌跡と成果を反映して、タスク間で伝達される実行可能なレッスンを生成する。 ERLはReActベースラインよりも成功率を7.8%向上させ、タスク完了の信頼性を大きく向上させる。
  論文  参考訳（メタデータ） (2026-03-25T11:43:22Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
  ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。 リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
  論文  参考訳（メタデータ） (2026-02-24T18:55:18Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• SAMULE: Self-Learning Agents Enhanced by Multi-level Reflection [14.40651157974557]
  SAMULEは、多層反射合成に基づいて訓練された振り返り言語モデルを活用した、自己学習エージェントのための新しいフレームワークである。 まず、細かなエラー訂正のための単一軌道学習(マイクロレベル)、同じタスクの複数の試行でエラーを発生させるタスク内学習(メソレベル)、さまざまなタスク障害から同一の型付きエラーに基づいて伝達可能な洞察を抽出するタスク間学習(マクロレベル)の3段階にわたる高品質なリフレクションを合成する。
  論文  参考訳（メタデータ） (2025-09-24T21:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。