論文の概要: HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

• arxiv url: http://arxiv.org/abs/2609.20659v1
• Date: Thu, 17 Sep 2026 16:38:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.375329
• Title: HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
• Title（参考訳）: HIL-UMI:ヒューマン・イン・ザ・ループ・ポスト・トレーニングによるユニバーサルマニピュレーション・インタフェースへのビジョン・ランゲージ・アクション・モデルの導入
• Abstract要約: 政策誘導型ユニバーサルマニピュレーションインタフェース(UMI)フレームワークであるHIL-UMIを紹介した。 ハンドヘルドUMIデモでは、HIL-UMIは予測を実行せずに、同じ観測ストリーム上の現在のポリシーをクエリする。 異なるフィードバックループでは、低オンライン優位予測は、進捗ベースの優位推定器を精算するために必要なセグメントを特定する。
• 参考スコア（独自算出の注目度）: 17.051345673499835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale vision-language-action (VLA) models provide powerful priors for robot manipulation, yet adapting them to a specific deployment remains challenging. Supervised fine-tuning (SFT) on task-specific demonstrations provides a step toward deployment, but faces two persistent limitations: static data provide limited coverage of out-of-distribution states, and standard imitation objectives do not distinguish progressing behavior from less useful data. Interactive post-training can address these limitations, but typically requires repeated policy execution and human intervention on a physical robot. We introduce HIL-UMI, a policy-guided Universal Manipulation Interface (UMI) framework for robot-free human-in-the-loop VLA post-training. During handheld UMI demonstrations, HIL-UMI queries the current policy on the same observation stream without executing its predictions. The Energy Score compares the human action trajectory with policy inference and triggers collection when their discrepancy indicates an out-of-distribution region. In a separate feedback loop, low online advantage predictions identify essential segments for refining a progress-based advantage estimator. The updated estimator then guides advantage-conditioned behavioral cloning using a balanced mixture of base demonstrations and new policy data. This design preserves the iterative and policy-aware nature of human-in-the-loop learning while decoupling data collection from robot deployment. Experiments on four real-world tasks spanning long-horizon and precise manipulation show that HIL-UMI achieves consistent improvement over SFT and benefits from both targeted collection and advantage refinement. Moreover, HIL-UMI outperforms HG-DAgger on Clean Up Table with lower per-frame collection time, suggesting a scalable path for VLA post-training across operators and locations.
• Abstract（参考訳）: 大規模視覚言語アクション(VLA)モデルは、ロボット操作の強力な先駆者を提供するが、それらを特定のデプロイメントに適応させることは依然として困難である。 タスク固有のデモの監視された微調整(SFT)は、デプロイメントへのステップを提供するが、2つの永続的な制限に直面している。 対話的なポストトレーニングはこれらの制限に対処できるが、通常、ポリシーの実行と物理的なロボットへの人間の介入を繰り返す必要がある。 政策誘導型ユニバーサルマニピュレーションインタフェース(UMI)フレームワークであるHIL-UMIを紹介した。 ハンドヘルドUMIデモでは、HIL-UMIは予測を実行せずに、同じ観測ストリーム上の現在のポリシーをクエリする。 エネルギースコア(Energy Score)は、人間の行動軌跡と政策推論を比較し、不一致がアウト・オブ・ディストリビューション領域を示すときに収集をトリガーする。 異なるフィードバックループでは、低オンライン優位予測は、進捗ベースの優位推定器を精算するために必要なセグメントを特定する。 更新された推定器は、基本実証と新しいポリシーデータのバランスの取れた混合を用いて、有利な条件付き行動クローニングを導出する。 この設計は、ロボットの配置からデータ収集を分離しながら、ループ内学習の反復的かつポリシーに適合した性質を保っている。 HIL-UMIはSFTよりも一貫した改善を実現し、目的の収集と利点の両面から恩恵を受けることを示す。 さらに、HIL-UMIは、フレーム単位のコレクション時間が少ないクリーンアップテーブル上でHG-DAggerよりも優れており、オペレータやロケーション間でのVLAポストトレーニングのスケーラブルなパスを示唆している。

関連論文リスト

• FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space [15.351960740594201]
  FlowDAggerは、潜伏空間における人間の介入から凍結した生成ロボットポリシーを適用するためのサンプルおよび計算効率のよい方法である。 私たちのキーとなるアイデアはアクション・インバージョン(アクション・インバージョン)です。 本研究では,FlowDAggerのシミュレーションおよび実世界のバイマニュアルおよびシングルアーム操作について評価する。
  論文  参考訳（メタデータ） (2026-07-09T19:07:33Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• DexHiL: A Human-in-the-Loop Framework for Vision-Language-Action Model Post-Training in Dexterous Manipulation [14.050551792714083]
  ヒューマン・イン・ザ・ループ(HiL)学習は、ロボットポリシーを洗練するための強力なメカニズムであることが証明されている。 DexHiLはDexterous VLAモデルのための最初の統合アームハンドヒューマン・イン・ザ・ループ・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-10T02:55:27Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation [14.657523625592658]
  VLA(Vision-Language-Action)モデルは通常、独立した言語計画や視覚予測に重点を置いている。 本研究では,言語計画,視覚予測,行動生成を統合した統一モデルBagelVLAを提案する。 大規模な実験により、BagelVLAは複数のシミュレーションおよび実世界のベンチマークで既存のベースラインを上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-02-10T14:54:01Z)
• Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
  VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。 標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。 本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:25:43Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance [63.33213516925946]
  textbfAlign-Then-stEer(textttATE)は,新しいデータ効率,プラグアンドプレイ適応フレームワークである。 我々の研究は、新しいロボットプラットフォームやタスクにVLAモデルをデプロイする実用性を大幅に向上させる、汎用的で軽量なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-09-02T07:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。