論文の概要: I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History
- arxiv url: http://arxiv.org/abs/2611.16419v1
- Date: Thu, 12 Nov 2026 07:30:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.389444
- Title: I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History
- Title(参考訳): 階層型演算子インテントを視覚的遠隔操作履歴から復号する
- Abstract要約: 視覚言語モデル(VLM)はロボットシーン理解、タスク計画、言語条件制御の強力な基盤となっている。
これを階層的意図予測(hierarchical intent prediction)として定式化し、進行中の原子活動と、それが短期間の視覚的遠隔操作履歴から果たす幅広いミッションを共同で推測する。
下流のアプリケーションとして、VIMの予測されたミッションは、VIMの微調整中に見えない実環境において、オペレーターの中間タスクから視覚言語アクション(VLA)ポリシーを引き継ぐことを可能にする。
- 参考スコア(独自算出の注目度): 10.052640042399693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) have become a powerful foundation for robotic scene understanding, task planning, and language-conditioned control. A natural question follows: can these models also decode what a human operator intends while teleoperating a robot, without any explicit instruction? We formulate this as hierarchical intent prediction, jointly inferring the ongoing atomic action and the broader mission it serves from a short visual teleoperation history. To study this, we introduce VI AMO (Vision Intention Action and Mission Ongoing), a dataset of 6,600 episodes from eleven robot sources with 13,653 temporally aligned action annotations and 9,702 mission annotations. Large proprietary models struggle with this problem: on held-out episodes, GPT-4o reaches Sentence-BERT similarities of only 0.563 and 0.470 for action and mission, and GPT-5.6 Luna achieves only 0.581 and 0.554. Fine-tuning a VLM on VI AMO yields our Vision-Intention Model (VIM), which raises these scores to 0.825 and 0.821 and still reaches 0.726 and 0.717 on the 35.4% of test actions with both labels absent from training. Finally, as a downstream application, VIM's predicted mission enables a vision-language-action (VLA) policy to take over from the operator mid-task in a real-world environment unseen during VIM fine-tuning, reducing human teleoperation time by 34.6% relative to GPT-4o and 39.8% relative to GPT-5.6 Luna, while cutting intent-prediction latency by roughly 70% on average.
- Abstract(参考訳): 視覚言語モデル(VLM)はロボットシーン理解、タスク計画、言語条件制御の強力な基盤となっている。
これらのモデルは、人間のオペレーターがロボットを遠隔操作するときに意図したものを、明示的な指示なしに解読できるのか?
これを階層的意図予測(hierarchical intent prediction)として定式化し、進行中の原子活動と、それが短期間の視覚的遠隔操作履歴から果たす幅広いミッションを共同で推測する。
そこで本研究では,視覚的意図行動とミッションオンゴーイング(Vision Intention Action and Mission Ongoing, VI AMO)について紹介する。
GPT-4oは0.563と0.470というSentence-BERTの類似点に到達し、GPT-5.6 Lunaは0.581と0.554しか達成していない。
VI AMO上でVLMを微調整するとビジョン・インテンション・モデル(VIM)が得られ、これらのスコアは0.825と0.821に上昇し、トレーニングを欠席した両レーベルの35.4%の試験行動で0.726と0.717に達する。
最後に、下流のアプリケーションとして、VIMの予測されたミッションは、VLA(Vision- Language-action)ポリシーを、VIMの微調整中に見えない現実の環境でオペレーターのミッドタスクから引き継ぐことを可能にし、人間の遠隔操作時間をGPT-4oに対して34.6%、GPT-5.6 Lunaに対して39.8%削減し、意図予測遅延を平均で約70%削減する。
関連論文リスト
- Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution [90.448613284096]
ロボット・エンベッド(Robota-Embed)を導入し、現在のクエリと記録された将来の継続の両方において、3つのモダリティを共同で符号化する最初の視覚言語アクション埋め込みモデルについて紹介する。
我々は,1,695,684個のトレーニングアンカーを複数ソースで構築し,4000のクエリと8000のギャラリーの共有を備えたRobota-Embed-Benchを紹介した。
Robota-Embedは47.33%のクリップレベルと81.77%のエピソードレベルのR@1を達成した。
論文 参考訳(メタデータ) (2026-10-14T03:15:23Z) - EVO-WAM: Evolving World Action Models through Video-Action Verification [51.68210232964847]
EVO-WAMは、自身の生成したビデオアクション軌跡から学習することで、WAMを見えないタスクに適応するフレームワークである。
コスモス3の平均成功率は20.0%から76.7%に改善され、56.7%となった。
論文 参考訳(メタデータ) (2026-09-29T17:25:35Z) - Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation [61.15247763568461]
本稿では,ロボット利用エージェントフレームワークであるRobo-Harness K1を紹介する。
一致した LIBERO-PRO タスクでは、Gemini 3.7 Flash with K1 が 77.8% に達し、GPT-6 Astra の 61.1% を RGB のみのハーネスで上回った。
RoboTwin では Easy で 32.0%、Hard で 28.0% を達成し、視覚的および環境的な摂動に対するレジリエンスを示している。
論文 参考訳(メタデータ) (2026-09-24T11:16:18Z) - Grounded Action Model: 3D Grounding as a Foundation for Robotics [29.02274437902474]
Grounded Action Models (GAMs) は、3Dグラウンドで構築されたロボット基盤モデルの新たなパラダイムである。
RoboTwin 2.0では、50タスクの平均成功率は55.3%である(空間強制では52.0%)。
LIBERO-PROでは、16の摂動設定で61%(vs.53% for $_0.5$)の最先端の平均成功率を達成する。
論文 参考訳(メタデータ) (2026-09-20T20:35:39Z) - Decoupling Vision, Language, and Action for Efficient Multi-Task Robot Policies [23.521987521697056]
Vision-Language-Action (VLA) ポリシーは一般的に、Vision-Language Model (VLM) バックボーンを動作させ、すべてのポリシー推論において数十億のパラメータを持つ。
我々は、視覚と言語エンコーダを分離し、表現がコンパクトなアクションヘッドを条件とする、マルチタスク操作のための分離された代替案を再検討する。
Decoupled Embodiment Model (DEM)は、細調整されたDINOv3ビジョンエンコーダ、冷凍されたNeoBERT言語エンコーダ、および1つのフォワードパスでアクションチャンクを生成するMeanFlowヘッドを組み合わせる。
論文 参考訳(メタデータ) (2026-09-16T09:28:34Z) - Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。
我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。
RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
論文 参考訳(メタデータ) (2026-08-26T17:59:34Z) - G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。
推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。
G0.5は7つの独立した体制で最先端のモデルを上回っている。
論文 参考訳(メタデータ) (2026-08-12T07:26:47Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳(メタデータ) (2026-05-26T18:52:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。