論文の概要: Language-Critique Imitation Learning from Suboptimal Demonstrations

• arxiv url: http://arxiv.org/abs/2607.01225v1
• Date: Wed, 01 Jul 2026 17:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:08.021039
• Title: Language-Critique Imitation Learning from Suboptimal Demonstrations
• Title（参考訳）: 準最適演示からの言語批判模倣学習
• Abstract要約: 準最適演示からの模倣学習のための言語批判フレームワークを提案する。 提案手法はまず,現在の進捗を明示するデモから言語ラベルを構築する。 次に、これらの構造化信号を用いてポリシーを直接訓練する言語批判的損失を導入する。
• 参考スコア（独自算出の注目度）: 23.463660165952632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work on imitation learning from suboptimal demonstrations typically relies on compressed supervision signals such as confidence estimates, discriminator scores, or importance weights. These scalar signals are inherently limited, as they cannot explicitly express intermediate reasoning about task progress, failure modes, or corrective actions. We propose a language-critique framework for imitation learning from suboptimal demonstrations that instead leverages natural language as a structured supervision signal, avoiding the collapse of expressive feedback into scalars. Our method first constructs language labels from demonstrations that explicitly describe current progress, identify suboptimal behaviors, and provide fine-grained corrective guidance. We then introduce a language-critique loss that directly trains policies using these structured signals without reducing them to scalars, and instantiate it for both behavior cloning and diffusion policies, yielding LC-BC and LC-DP. We further provide a theoretical result showing that the proposed objective upper-bounds the expert performance gap under standard assumptions. Empirically, we evaluate on diverse continuous control tasks spanning navigation, manipulation, and gameplay, where our methods consistently outperform strong imitation learning and offline reinforcement learning baselines. These results demonstrate that language can serve as a powerful and structured form of supervision for learning robust policies from suboptimal data.
• Abstract（参考訳）: 準最適デモンストレーションからの模倣学習に関する以前の研究は、通常、信頼度推定、差別者スコア、重要性重みなどの圧縮された監視信号に依存している。 これらのスカラー信号は、タスクの進行、障害モード、修正動作に関する中間的推論を明示的に表現できないため、本質的に制限されている。 本稿では,自然言語を構造化された監視信号として活用し,表現的フィードバックをスカラーに分解しないようにする,準最適演示からの模倣学習のための言語批判フレームワークを提案する。 提案手法はまず,現在進行状況を明確に記述し,最適な動作を識別し,きめ細かい修正ガイダンスを提供するデモから言語ラベルを構築する。 次に,これらの構造信号を用いた政策をスカラー化せずに直接訓練する言語批判的損失を導入し,LC-BC と LC-DP を生じる行動クローニングと拡散ポリシの両面でインスタンス化する。 さらに,提案した目的が,標準的な前提条件下でのエキスパートのパフォーマンスギャップを上限とすることを示す理論的結果も提示する。 実験により,ナビゲーション,操作,ゲームプレイにまたがる多種多様な連続制御タスクの評価を行った。 これらの結果から、言語は最適なデータから堅牢なポリシーを学習するための、強力で構造化された監視形態として機能することを示す。

関連論文リスト

• In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use [18.507118969955666]
  Vision-Language-Actionモデルは、静的イメージと固定命令で条件付けられた専門家のアクションチャンクを模倣する。 textbfourmethodは,言語能力を備えたVLAを実現するフレームワークである。 提案手法は,CoTをベースとした手法と比較して,性能と効率の両面において一貫したSOTA結果が得られる。
  論文  参考訳（メタデータ） (2026-08-06T08:21:02Z)
• STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
  我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T11:04:31Z)
• Robust Skills, Brittle Grounding: Diagnosing Restricted Generalization in Vision-Language Action Policies via Multi-Object Picking [6.713814849613683]
  視覚言語アクション(VLA)ポリシーは、比較的少数のデモで強力な操作ベンチマーク性能を報告している。 本研究は, オブジェクト配置のばらつきを, 作業空間のランダム化まで徐々に増大させる多目的ピッキング研究である。 SmolVLAや$_0.5$といった代表的VLAポリシでは、操作プリミティブの実行は、命令条件のタスク成功よりもかなり信頼性が高いことが分かりました。
  論文  参考訳（メタデータ） (2026-02-27T16:20:04Z)
• Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
  残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。 RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
  論文  参考訳（メタデータ） (2026-01-07T16:16:10Z)
• DAIL: Beyond Task Ambiguity for Language-Conditioned Reinforcement Learning [28.027785116421242]
  DAIL(Distributional Aligned Learning)には,分散ポリシとセマンティックアライメントという2つの重要な要素がある。 DAILは命令のあいまいさを効果的に解決し,ベースライン手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-10-22T13:16:46Z)
• FOSSIL: Harnessing Feedback on Suboptimal Samples for Data-Efficient Generalisation with Imitation Learning for Embodied Vision-and-Language Tasks [45.65159253753118]
  この研究は、模倣学習で訓練されたエージェントが最適と準最適の両方から堅牢な表現を学習する方法を探求する。 入力シーケンスの一部として言語フィードバックの埋め込みをTransformerベースのポリシーに組み込む。 独自のBabyAI-XGen環境における視覚・言語タスクの具体化について,本手法を検証した。
  論文  参考訳（メタデータ） (2025-10-13T11:55:21Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Disentangling Latent Shifts of In-Context Learning with Weak Supervision [0.0]
  In-context Learning (ICL)により、大規模言語モデルでは、プロンプト内のラベル付き例を条件にすることで、少数ショット学習が可能となる。 柔軟性にも拘わらず、ICLはより多くのデモで即時長が増加するにつれて不安定に悩まされる。 提案手法は,実演による潜時変化をクエリから切り離すパラメータ効率の手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T13:00:21Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
  本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。 実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。