論文の概要: Learning to Act under Visual Interruptions with Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2609.35003v1
• Date: Mon, 28 Sep 2026 12:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:54:53.698176
• Title: Learning to Act under Visual Interruptions with Vision-Language-Action Models
• Title（参考訳）: 視覚・言語・行動モデルを用いた視覚的中断下での行動学習
• Abstract要約: 視覚言語アクション(VLA)モデルは、ロボット操作において強力な能力を示している。 それらは通常、タスク実行を通じて利用可能なすべてのカメラストリームで開発され、評価される。 VLAモデルによる視覚的中断を評価するベンチマークであるMAIL-Benchを紹介する。 視覚的入力を欠く場合、まずVLAポリシーを継続するように訓練するMINTを提案する。
• 参考スコア（独自算出の注目度）: 24.391879026948306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models have demonstrated strong capabilities in robotic manipulation, but they are typically developed and evaluated with all camera streams available throughout task execution. When a camera stops delivering frames during task execution, the policy must continue acting without access to subsequent observations from the missing view. Despite its practical importance, how such interruptions affect closed-loop manipulation remains insufficiently understood. To investigate this problem, we introduce MAIL-Bench, a benchmark that evaluates visual interruptions with VLA models. By interrupting different cameras at multiple stages of each policy's successful reference trajectory, MAIL-Bench measures how well policies retain their capabilities when visual inputs become unavailable. Building on this benchmark, we propose MINT, which first trains VLA policies to remain functional under missing visual inputs. At inference time, MINT selectively supplements missing observations using optical-flow extrapolation or an action-conditioned world model, and withdraws predicted views when they become unreliable. Experiments on $π_{0.5}$ and GR00T N1.5 show that MINT significantly improves task success under camera loss over the original models. Experiments on AgiBot G2 further demonstrate the real-robot deployment under camera loss. The benchmark is available at https://minglejiang.github.io/Mail-Bench/
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルはロボット操作において強力な能力を示してきたが、通常はタスク実行を通じて利用可能なすべてのカメラストリームで開発・評価されている。 タスク実行中にカメラがフレームの配信を停止した場合、ポリシーは、欠落したビューからのその後の観察にアクセスせずに動作しなければなりません。 実際の重要性にもかかわらず、そのような中断がクローズドループ操作にどのように影響するかは未だ十分に理解されていない。 そこで本研究では,VLAモデルによる視覚的中断を評価するベンチマークであるMAIL-Benchを紹介する。 それぞれのポリシーが成功した基準軌跡の複数の段階で異なるカメラを中断することにより、MAIL-Benchは視覚入力が利用できないときにポリシーがいかに機能を維持するかを測定する。 このベンチマークに基づいて,まずVLAポリシーを視覚的入力の欠如下で機能し続けるように訓練するMINTを提案する。 推測時には、MINTは光学フロー外挿やアクション条件付き世界モデルを用いて、行方不明な観察を選択的に補足し、信頼できなくなると予測されたビューを除去する。 π_{0.5}$とGR00T N1.5の実験により、MINTはオリジナルのモデルよりもカメラ損失下でのタスク成功を著しく改善することが示された。 AgiBot G2の実験は、カメラロス下での実際のロボットの展開をさらに実証している。 ベンチマークはhttps://minglejiang.github.io/Mail-Bench/で公開されている。

関連論文リスト

• TEMPO: Learning Temporal Context for Dynamic Robot Manipulation [12.057683796484232]
  本稿では、事前訓練されたVLAを2つの時間入力で拡張し、動きのあいまいさと状態のエイリアスを解消するTEMPOを提案する。 ボトルハンドオーバの成功を44%から74%に改善し、状態エイリアスを解決する唯一の方法である。 さらに、動作認識ロボットの知覚を評価するために、50k以上の注釈付きフレームのベンチマークであるTEMPO-Benchをリリースする。
  論文  参考訳（メタデータ） (2026-09-15T08:56:52Z)
• Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation [52.61098793949261]
  障害駆動型データ拡張フレームワークであるPose6DAugを紹介します。 我々は、ポリシーの成功エピソードを、障害モードのターゲットとなるデモに変換する。 提案手法は,時間的コヒーレントな6次元ポーズ軌道によって駆動される明示的なメッシュで対象物体を固定し,直接3次元で動作させる。
  論文  参考訳（メタデータ） (2026-06-18T11:41:25Z)
• PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models [33.89873575295867]
  我々はPokeGymを紹介した。Pokemon Legends: Z-Aは視覚的に複雑な3DオープンワールドであるRole-Playing Gameである。 PokeGymは厳格なコードレベルの分離を強制する:エージェントは生のRGB観測のみで動作するが、独立した評価器はメモリスキャンによって成功を検証する。 このベンチマークは、ナビゲーション、インタラクション、混合シナリオにまたがる30のタスク(30-220ステップ)と、3つの命令の粒度(Visual-Guided、Step-Guided、Goal-Only)で構成され、視覚的な接地、セマンティック推論、自律的な探索機能を体系的に分解する。
  論文  参考訳（メタデータ） (2026-04-09T15:12:36Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• OG-VLA: 3D-Aware Vision Language Action Model via Orthographic Image Generation [68.11862866566817]
  3D対応のポリシーは、精密なロボット操作タスクにおいて最先端のパフォーマンスを実現するが、見えない指示、シーン、オブジェクトへの一般化に苦慮している。 我々は,視覚言語行動モデル(VLA)の一般化強度と3D対応ポリシーの堅牢性を組み合わせた,新しいアーキテクチャと学習フレームワークであるOG-VLAを紹介する。
  論文  参考訳（メタデータ） (2025-06-01T22:15:45Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation [19.17977467107072]
  本モデルでは,カメラのNext-Best-View(NBV)ポリシーとグリップのNext-Best Pose(NBP)ポリシーを直列接続し,数発の強化学習を用いてセンサ・モーター協調フレームワークでトレーニングする。 このアプローチにより、エージェントは3人称カメラを調整し、タスクゴールに基づいて環境を積極的に観察し、その後に適切な操作行動を推測することができる。 その結果,操作タスクにおける視覚的制約処理の有効性を示すとともに,ベースラインアルゴリズムを一貫して上回る結果が得られた。
  論文  参考訳（メタデータ） (2024-09-23T10:38:20Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。