論文の概要: Beyond Outcome Feedback: Trajectory-Quality-Guided Experience-based Learning

• arxiv url: http://arxiv.org/abs/2610.14877v1
• Date: Sat, 10 Oct 2026 12:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.127311
• Title: Beyond Outcome Feedback: Trajectory-Quality-Guided Experience-based Learning
• Title（参考訳）: アウトカムフィードバックを超えて: 軌道品質に基づく経験に基づく学習
• Abstract要約: 本稿では,プロセスフィードバックを取り入れた学習フレームワークTQG-Expを提案する。 具体的には,タスク完了とプロセス品質を共同で検討し,学習信号を提供するトラジェクティブ品質損失(TQL)を紹介する。 TQG-Expは既存のエクスペリエンスベースの手法よりも優れており、Avg.@3が最強のベースラインである4.50と8.55ポイントで改善されていることを示す。
• 参考スコア（独自算出の注目度）: 29.574511822743343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Experience-based learning enables large language model (LLM) agents to improve over time by reusing knowledge from past executions. However, existing methods typically rely on final task outcomes as feedback for experience learning, overlooking the execution process and limiting their ability to evaluate and optimize experience based on trajectory quality. To address this limitation, we propose TQG-Exp, a trajectory-quality-guided experience-based learning framework that introduces process feedback. Specifically, we introduce Trajectory Quality Loss (TQL), which jointly considers task completion and process quality to provide a learning signal beyond final task outcomes. Based on this signal, we employ paired rollouts with and without retrieved experience to guide experience optimization. Representative trajectories are selected based on their outcomes and trajectory quality to extract task-level and task-type-level experiences. Meanwhile, differences in trajectory quality between the paired groups are used to estimate the contribution of retrieved experience and update its utility. The learned utility is then combined with semantic relevance to guide subsequent experience retrieval. Experiments on ALFWorld, WebShop, and ScienceWorld with two backbone LLMs show that TQG-Exp outperforms existing experience-based methods, improving Avg.@3 over the strongest baseline by 4.50 and 8.55 percentage points on DeepSeek-V4-Flash and Qwen3.5-Flash, respectively.
• Abstract（参考訳）: 経験に基づく学習により、大規模な言語モデル(LLM)エージェントは、過去の実行から知識を再利用することで、時間とともに改善できる。 しかし、既存の手法は、通常、経験学習のフィードバックとして最終タスクの結果に依存し、実行プロセスを見下ろし、軌道品質に基づいて経験を評価し、最適化する能力を制限する。 この制限に対処するため,プロセスフィードバックを導入した軌道品質に基づく経験ベース学習フレームワークであるTQG-Expを提案する。 具体的には、最終的なタスク結果以上の学習信号を提供するために、タスク完了とプロセス品質を共同で検討するトラジェクティブ品質損失(TQL)を紹介する。 この信号に基づいて、我々は、経験の最適化をガイドするために、検索された経験と経験の無いペア付きロールアウトを採用する。 タスクレベルおよびタスクタイプレベルの経験を抽出するために、その成果と軌道品質に基づいて、代表的軌跡が選択される。 一方, 2つのグループ間の軌道品質の違いは, 得られた経験の寄与を推定し, その有用性を更新するために用いられる。 学習されたユーティリティとセマンティックな関連性を組み合わせることで、その後のエクスペリエンス検索をガイドする。 ALFWorld、WebShop、ScienceWorldの2つのバックボーンLDMによる実験によると、TQG-Expは既存のエクスペリエンスベースのメソッドよりも優れ、Avgが改善されている。 DeepSeek-V4-FlashとQwen3.5-Flashでは、それぞれ4.50ポイントと8.55ポイントという最強のベースラインを@3で上回っている。

関連論文リスト

• PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
  PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。 SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
  論文  参考訳（メタデータ） (2026-08-02T11:00:04Z)
• Rethinking Experience Utilization in Self-Evolving Language Model Agents [51.10420305280499]
  自己進化剤は過去の相互作用から経験を蓄積し再利用することで改善する。 本稿では,自己進化型エージェントの重要設計次元としての利用経験について考察する。
  論文  参考訳（メタデータ） (2026-05-08T02:48:49Z)
• Retrieval-Augmented LLM Agents: Learning to Learn from Experience [16.248836438253814]
  本研究では,検索対象のLLMエージェントを学習し,検索したトラジェクトリをコンテキスト内で活用する方法について検討する。 最先端のエージェントトレーニングパイプラインよりも優れたロラを用いた,堅牢な教師付き微調整(SFT)レシピを確立した。 その結果,この組み合わせによるタスクの一般化が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2026-03-18T20:45:04Z)
• SLEA-RL: Step-Level Experience Augmented Reinforcement Learning for Multi-Turn Agentic Training [2.291770711277359]
  本研究では,SLEA-RL(Step-Level Experience-Augmented Reinforcement Learning)を提案する。 SLEA-RLは、(i)効率的なクラスタインデックス検索のために構造的に等価な環境状態をグループ化するステップレベルの監視クラスタリング、(ii)スコアベースの入出力とレート制限抽出を通じて成功戦略と失敗パターンを蒸留する自己進化体験ライブラリ、(iii)マルチターンエピソード間のきめ細かな優位性推定のためのステップレベルの信用割当によるポリシー最適化の3つのコンポーネントを通して機能する。
  論文  参考訳（メタデータ） (2026-03-18T07:16:18Z)
• Online Experiential Learning for Language Models [99.90826536842337]
  Online Experiential Learning (OEL)は、言語モデルが自身のデプロイメントエクスペリエンスから継続的に改善できるフレームワークである。 OELは、まず、転送可能な経験知識を抽出し、ユーザ側で収集された相互作用軌跡から蓄積する。 テキストベースのゲーム環境において,複数のモデルスケールでOELを評価し,思考と非思考の両バリエーションについて検討した。
  論文  参考訳（メタデータ） (2026-03-17T17:57:49Z)
• ExGRPO: Learning to Reason from Experience [82.83309610498446]
  検証可能な報酬(RLVR)からの強化学習は、大規模言語モデルの推論能力を改善するための新たなパラダイムである。 標準的なオンライントレーニングは、1回の更新後にロールアウトエクスペリエンスを捨て、計算の非効率性と不安定性につながる。 本稿では,まず,経験価値の効果的な指標であるロールアウトの正しさとエントロピーを考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:31:30Z)
• CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing [70.25689961697523]
  クロスタスク体験の共有と選択によるシーケンシャル推論を強化する一般化可能なアルゴリズムを提案する。 我々の研究は、既存のシーケンシャルな推論パラダイムのギャップを埋め、タスク間体験の活用の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T03:59:53Z)
• Self-Evolving GPT: A Lifelong Autonomous Experiential Learner [40.16716983217304]
  大規模言語モデル(LLM)に基づく生涯の自律的経験学習フレームワークを設計する。 自律的に学習し、経験の伝達と帰納を通じて経験を蓄積し、どのような種類の入力質問を分類し、どの蓄積された経験を雇用するかを選択する。 6つのNLPデータセットによる実験結果から,本フレームワークは各中間段階において確実に動作し,GPT-3.5およびGPT-4の性能を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2024-07-12T02:49:13Z)
• Iterative Experience Refinement of Software-Developing Agents [81.09737243969758]
  大規模な言語モデル(LLM)は、過去の経験を活用してエラーを低減し、効率を高めることができる。 本稿では,LLMエージェントがタスク実行中に反復的に経験を洗練できる反復体験精錬フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T11:33:49Z)
• Learning to Sample with Local and Global Contexts in Experience Replay Buffer [135.94190624087355]
  遷移の相対的重要性を計算できる学習に基づく新しいサンプリング手法を提案する。 本研究の枠組みは, 様々な非政治強化学習手法の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。