論文の概要: AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

• arxiv url: http://arxiv.org/abs/2603.21357v1
• Date: Sun, 22 Mar 2026 18:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.376319
• Title: AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling
• Title（参考訳）: AgentHER: LLM Agent Trajectory RelabelingのHindsight Experience Replay
• Abstract要約: AgentHERは、自然言語エージェントトラジェクトリにHindsight Experience原則を適用することで、失われたトレーニング信号を回復する。 破棄された障害を高品質のSFT、DPO、ShareGPTトレーニングデータに変換する。 WebArena Replay (Zhou et al., 2024)とToolBench (Qin et al., 2024)では、AgentHERは4つのモデルファミリーで成功のみのSFTを+7.1-11.7ppで改善している。
• 参考スコア（独自算出の注目度）: 12.42698406379544
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: LLM agents fail on the majority of real-world tasks -- GPT-4o succeeds on fewer than 15% of WebArena navigation tasks and below 55% pass@1 on ToolBench (Zhou et al., 2024; Qin et al., 2024) -- yet every failed trajectory is routinely discarded, wasting the dominant source of collected experience. We introduce AgentHER, a framework that recovers this lost training signal by adapting the Hindsight Experience Replay (HER; Andrychowicz et al., 2017) principle to natural-language agent trajectories for offline data augmentation. The key insight is simple: a trajectory that fails goal A is often a correct demonstration for some achievable alternative goal B. AgentHER realises this idea through a four-stage pipeline -- failure classification, outcome extraction, LLM-guided prompt relabeling with confidence gating, and data packaging -- that converts discarded failures into high-quality SFT, DPO, and ShareGPT training data, with both zero-cost rule-based and LLM-judge implementations. On WebArena (Zhou et al., 2024) and ToolBench (Qin et al., 2024), AgentHER improves over success-only SFT by +7.1-11.7 pp across four model families (GPT-4o, Qwen2.5-72B/7B, LLaMA-3.1-8B), while achieving 2x data efficiency -- matching baseline performance with only 50% of successful demonstrations. Gains are consistent from 1.5B to 72B parameters (+5.8-9.2 pp) and compound under iterative redeployment (+2.1 pp over additional rounds). Human evaluation confirms 97.7% relabeling precision under multi-judge verification.
• Abstract（参考訳）: LLMエージェントは現実世界のタスクの大部分で失敗する -- GPT-4oはWebArenaナビゲーションタスクの15%未満で成功し、ToolBench(Zhou et al , 2024; Qin et al , 2024)で55%のpass@1以下である。 我々は、HER(Hindsight Experience Replay)の原則を、オフラインデータ拡張のための自然言語エージェントトラジェクトリに適用することで、この失われたトレーニング信号を回復するフレームワークであるAgentHERを紹介する。 AgentHERは、4段階のパイプライン – 障害分類、結果抽出、信頼性向上によるLLM誘導プロンプトレザベリング、データパッケージング -- を通じてこのアイデアを実現し、破棄された障害を高品質なSFT、DPO、ShareGPTトレーニングデータに変換する。 WebArena(Zhou et al , 2024)とToolBench(Qin et al , 2024)では、AgentHERは4つのモデルファミリ(GPT-4o, Qwen2.5-72B/7B, LLaMA-3.1-8B)で成功のみのSFTを+7.1-11.7ppで改善し、2倍のデータ効率を実現した。 利得は1.5Bから72Bパラメータ(+5.8-9.2pp)と一致しており、反復的再デプロイ(+2.1pp)の下での化合物である。 人的評価は、マルチジャッジ検証の精度を97.7%向上させる。

関連論文リスト

• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution [6.908637308550535]
  SEVAは、エビデンスアライメント、ステップバイステップの推論チェーン、キャリブレーションされた信頼度、6カテゴリのエラー診断を発行する構造化検証エージェントである。 ClearFacts では、SEVA-3B は GPT-4o-mini (69.0 vs. 69.8 F1) と一致し、よりリッチで監査可能な出力を生成する。
  論文  参考訳（メタデータ） (2026-06-29T02:37:13Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation [0.0]
  自然言語からインフラストラクチャ・アズ・コード(IaC)を生成するには、プロバイダのスキーマ、依存関係の計画、組織的なポリシの制約を満たす必要がある。 Rego v1ポリシを備えた186タスクのAWS/TerraformベンチマークであるIaC-Eval v2で評価されたTerraform生成のための7つのエージェント戦略に関する検証初の実験的研究を示す。
  論文  参考訳（メタデータ） (2026-05-29T12:43:27Z)
• Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems [1.8717456484053328]
  エージェント成功率(ASR)は、観測されたエージェントの実行シーケンスと期待されるエージェントの実行シーケンスを比較する軌跡-忠実度メトリックである。 ASRは18のLLMと90,000のタスクインスタンスにわたる階層型マルチエージェントシステム(HMASP)に適用される。 ASR診断によって誘導されるプロンプト改良と決定論的ルーティングガードは、大幅にTSRの改善をもたらす。
  論文  参考訳（メタデータ） (2026-05-07T15:50:26Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
  マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。 本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
  論文  参考訳（メタデータ） (2026-04-03T08:36:03Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
  限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか? エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。 Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
  論文  参考訳（メタデータ） (2025-10-23T17:57:28Z)
• AgenTracer: Who Is Inducing Failure in the LLM Agentic Systems? [71.21547572568655]
  AgenTracer-8Bは、マルチグラニュラ強化学習で訓練された軽量障害トレーサである。 Who&Whenベンチマークでは、AgenTracer-8BはGemini-2.5-ProやClaude-4-Sonnetのような巨大なLLMを最大18.18%上回っている。 AgenTracer-8BはMetaGPTやMAASのような市販のマルチエージェントシステムに4.8-14.2%の性能向上をもたらす。
  論文  参考訳（メタデータ） (2025-09-03T13:42:14Z)
• VAULT: Vigilant Adversarial Updates via LLM-Driven Retrieval-Augmented Generation for NLI [15.320553375828045]
  VAULTは、NLIモデルの弱点を発見し、改善する完全に自動化された対向的なRAGパイプラインである。 VAULTはデータセット間で、従来よりも最大で2.0%パフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-08-01T14:22:54Z)
• Efficient Online RFT with Plug-and-Play LLM Judges: Unlocking State-of-the-Art Performance [0.0]
  リワードモデルトレーニングは、現代の強化学習ヒューマンフィードバック(RLHF)パイプラインのコストボトルネックである。 提案手法では, 冷凍型7B LLMを1行とランク16のLORAアダプタで拡張する。 プラグ・アンド・プレイの審査員96.2%はRewardBenchの精度を達成し、27Bから70Bパラメータの特殊報酬ネットワークを上回っている。
  論文  参考訳（メタデータ） (2025-06-06T05:18:54Z)
• Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
  本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。 EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
  論文  参考訳（メタデータ） (2025-04-17T17:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。