論文の概要: Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

• arxiv url: http://arxiv.org/abs/2607.04235v1
• Date: Sun, 05 Jul 2026 11:21:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.872872
• Title: Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations
• Title（参考訳）: 金へのスピニングストロー - 実証に成功するためのLLMエージェントの軌道を後部から再現する
• Abstract要約: 我々は、HSL(Hindsight Supervised Learning)を導入し、補助的なLLMが各完了軌跡をレビューし、エージェントが実際に達成したすべての自然言語目標をラベル付けする。 HSLは軌道をその延長された目標と組み合わせ、これらのペアを追加の微調整に使用する。 実験の結果,HSLは既存のポストトレーニングパイプラインと柔軟で互換性があることがわかった。
• 参考スコア（独自算出の注目度）: 53.931465193216155
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model agents operate in partially observable, long-horizon settings where obtaining supervision remains a major bottleneck. We address this by utilizing a source of supervision overlooked in existing post-training methods: unintended yet successful goals embedded within agent rollouts. Specifically, we introduce Hindsight Supervised Learning (HSL), where an auxiliary LLM reviews each completed trajectory and relabels it with all of the natural-language goals the agent actually achieved. HSL then pairs the trajectory with its relabeled goals and uses these pairs for additional fine-tuning. To mitigate suboptimality in the relabeled data, we propose two learning techniques for HSL, irrelevant-action masking and sample reweighting. Our experiments show that HSL is flexible and compatible with existing post-training pipelines. It improves both SFT and DPO, with larger gains on long-horizon tasks with more diverse goal spaces. Moreover, HSL is sample-efficient: on ALFWorld, it surpasses baselines trained on the full dataset while using only one quarter of the ground-truth demonstrations.
• Abstract（参考訳）: 大規模言語モデルエージェントは、部分的に観察可能な長期的設定で運用される。 我々は,既存のポストトレーニング手法で見落とされた,エージェントロールアウトに埋め込まれた意図しない,成功した目標の源泉を活用することで,この問題に対処する。 具体的には、HSL(Hindsight Supervised Learning)を導入し、補助的なLLMが各完了軌跡をレビューし、エージェントが実際に達成したすべての自然言語目標と再ラベルする。 その後、HSLは軌道をその延長された目標と組み合わせ、これらのペアを追加の微調整に使用する。 そこで本研究では,HSLの非対応マスキングとサンプル再重み付けの2つの学習手法を提案する。 実験の結果,HSLは既存のポストトレーニングパイプラインと柔軟で互換性があることがわかった。 SFTとDPOの両方を改善し、より多様な目標空間を持つ長距離タスクにより大きな利益をもたらす。 さらに、HSLはサンプル効率が高く、ALFWorldでは、フルデータセットでトレーニングされたベースラインを超越し、グランドトゥルースのデモの4分の1しか使用していない。

関連論文リスト

• Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning [18.215893951726166]
  スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。 この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。 LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2026-02-20T01:44:35Z)
• Language-based Trial and Error Falls Behind in the Era of Experience [50.503828360874536]
  大きな言語モデル(LLM)は、言語ベースのエージェントタスクでは優れているが、見つからない非言語環境への適用性は依然として限られている。 本研究では,探索の禁止コストが主なボトルネックであることを示す。 セマンティック・エクスプロイトから探索を分離する新しいフレームワークであるSCOUTを提案する。
  論文  参考訳（メタデータ） (2026-01-29T14:08:41Z)
• Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective [27.35951269350466]
  半教師付き少ショット学習式は「自動アノテーション」のような実世界の応用を規定する 本稿では,VLMの事前学習セットから取得したラベル付きデータ,豊富なラベル付きデータ,タスク関連だがノイズの多いデータに基づいて,既存のSSL手法でVLMを効果的に微調整できるSWIFTを提案する。
  論文  参考訳（メタデータ） (2025-12-11T03:06:16Z)
• Self-Improving Vision-Language-Action Models with Data Generation via Residual RL [29.682761652941963]
  Probe, Learn, Distill (PLD)は3段階のプラグイン・アンド・プレイフレームワークで、視覚言語アクションモデルを改善する。 PLDはLIBEROでほぼ飽和した99%のタスク成功、SimplerEnvで50%以上、実世界のFrankaとYAMのアーム操作タスクで100%成功している。
  論文  参考訳（メタデータ） (2025-10-30T06:24:04Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• STeCa: Step-level Trajectory Calibration for LLM Agent Learning [9.678098205818566]
  大規模言語モデル(LLM)ベースのエージェントは、環境と動的に相互作用することで複雑なタスクに取り組むことを約束している。 LLMエージェント学習のための新しいフレームワークであるStep-Level Trajectory (STeCa)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:28:44Z)
• SEAL: SEmantic-Augmented Imitation Learning via Language Model [16.345410506033915]
  SEALは、意味的に意味のあるサブゴール表現に対して、サブゴール空間とプレラベル状態を指定するための新しいフレームワークである。 SEALはデュアルエンコーダ構造を採用し、教師なしLLM誘導サブゴール学習と教師なしベクトル量子化を組み合わせた。 実験の結果,SEALは最先端のHIL法やLLMに基づく計画手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-03T05:53:10Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。