論文の概要: What Matters, When? Diagnosing and Improving Conditional Visual Grounding in Visuomotor Imitation Policies
- arxiv url: http://arxiv.org/abs/2609.05376v1
- Date: Fri, 04 Sep 2026 17:27:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.138848
- Title: What Matters, When? Diagnosing and Improving Conditional Visual Grounding in Visuomotor Imitation Policies
- Title（参考訳）: ビジュモータ模倣法における条件付き視覚接地の診断と改善
- Abstract要約: Visuomotorの模倣ポリシーは、分布内視覚条件下では高い性能を達成できるが、視覚的に類似したオブジェクトが導入されると失敗する。
色と形状の類似性を制御したディストラクタオブジェクトを導入し、ピックと配置の失敗をローカライズする。
視覚的類似度の種類と操作段階の両方に障害感度が比例していることが判明した。
- 参考スコア（独自算出の注目度）: 28.136436759581926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visuomotor imitation policies can achieve high performance under in-distribution visual conditions yet fail when visually similar objects or receptacles are introduced. We study this behavior as a problem of conditional visual grounding: the visual target required for successful control changes with the manipulation phase and, in more complex tasks, with the observed task state. Using Action Chunking with Transformers (ACT), we systematically introduce distractor objects and receptacles with controlled color and shape similarity and localize failures to picking and placement. We find that distractor sensitivity is specific to both the type of visual similarity and the manipulation stage. Guided by this diagnosis, we evaluate distractor augmentation, phase-dependent attention regularization, and appearance-based visual prompting as complementary interventions for improving target selection while preserving spatial information required for control. These interventions substantially improve robustness in simulation and on a physical UR3e. We further examine the same failure pattern in a pretrained vision-language-action policy on a state-conditioned instrument-handling task, where the observed state of a medical instrument determines the correct destination. Together, the results show that visual distractors can cause incorrect object or destination selection even when the underlying manipulation skill remains intact, and that explicitly improving target selection can substantially recover performance across distinct visuomotor policy-learning regimes.
- Abstract（参考訳）: Visuomotorの模倣ポリシーは、視覚的に類似したオブジェクトやレセプタクルが導入された際には、分配されていない視覚条件下で高い性能を達成することができる。
我々は,この動作を条件付き視覚的グラウンドリングの問題として研究し,操作フェーズで制御を成功させるために必要な視覚的目標と,観察されたタスク状態でより複雑なタスクについて検討した。
本研究では,Action Chunking with Transformers (ACT)を用いて,色や形状の類似性を制御した乱れオブジェクトやレセプタクルを系統的に導入し,ピックや配置に障害を局在させる。
視覚的類似度の種類と操作段階の両方に障害感度が比例していることが判明した。
この診断を参考に,制御に必要な空間情報を保存しつつ,目標選択を改善するための補助的介入として,注意力増強,位相依存的注意規則化,外見に基づく視覚的プロンプトを評価した。
これらの介入は、シミュレーションおよび物理的UR3eにおけるロバスト性を大幅に改善する。
さらに、医療機器の観測状態が正しい目的地を決定する状態の機器処理タスクにおいて、事前訓練された視覚言語行動ポリシーにおける同じ障害パターンについて検討する。
これらの結果から,視覚的障害は操作スキルを損なうことなく,不適切な対象選択や目的地選択を生じさせる可能性が示唆された。
関連論文リスト
- Rethinking Generic Object Tracking Toward Human-Level Perceptual Intelligence [0.8883733362171032]
この論文は、機械視覚追跡システムと人間の視覚知覚のギャップを狭めることを目的としている。
追跡モデルの目標識別、ロバスト適応、幾何学的推論能力を体系的に強化する一連の手法を提案する。
論文 参考訳（メタデータ） (2026-07-01T18:54:00Z) - MSACT: Multistage Spatial Alignment for Stable Low-Latency Fine Manipulation [4.439585594082787]
実世界の微視的操作、特に双方向操作では、低レイテンシ制御と安定した視覚的位置決めが必要となる。
ACTのようなアクションチャンキングポリシーは、低レイテンシの実行とデータ効率を可能にするが、空間的一貫性を明示することなく、密集した視覚的特徴に依存している。
安定な2次元アテンションポイントを抽出し,時間的アライメントロスを伴う将来のアテンションシーケンスを共同で予測する多段階空間アテンションモジュールを提案する。
論文 参考訳（メタデータ） (2026-05-01T07:35:15Z) - When would Vision-Proprioception Policies Fail in Robotic Manipulation? [24.653339846980376]
原始受容情報は、リアルタイムなロボット状態を提供することによって正確なサーボ制御に不可欠である。
近年の研究では、視覚保護政策の一般化に関する矛盾した観察が報告されている。
本稿では, 位相依存性の最適化を適応的に調節するGAPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-12T15:00:48Z) - \ extsc{NaVIDA}: Vision-Language Navigation with Inverse Dynamics Augmentation [50.027425808733994]
textscNaVIDAは、ポリシー学習とアクショングラウンドの視覚力学と適応実行を結合した統合VLNフレームワークである。
textscNaVIDAは、チャンクベースの逆ダイナミクスによるトレーニングを強化し、視覚変化と対応するアクションの因果関係を学習する。
実験の結果,textscNaVIDAはパラメータが少ない最先端の手法に比べてナビゲーション性能が優れていることがわかった。
論文 参考訳（メタデータ） (2026-01-26T06:16:17Z) - ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。
具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。
本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文 参考訳（メタデータ） (2026-01-23T11:31:07Z) - PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。
本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
論文 参考訳（メタデータ） (2025-12-03T12:14:29Z) - Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues [69.24378760740171]
本稿では,乱れたシーンにおけるロバスト性の欠如に対する解決策として,ビジュモータ・ポリシー・プールについて考察する。
AFA(Attentive Feature Aggregation)は、タスク関連視覚的キューに自然に出席することを学ぶ軽量でトレーニング可能なプール機構である。
以上の結果から,視覚情報を無視することは,堅牢で汎用的な視覚運動ポリシーの展開に向けた重要なステップであることが示唆された。
論文 参考訳（メタデータ） (2025-11-13T19:31:05Z) - Exploring Conditions for Diffusion models in Robotic Control [70.27711404291573]
我々は,ロボット制御のためのタスク適応型視覚表現を得るために,事前学習したテキスト・画像拡散モデルを活用することを検討する。
テキスト条件をナビゲート的に適用すると、制御タスクにおいて最小あるいは負の利得が得られることがわかった。
本稿では,制御環境に適応する学習可能なタスクプロンプトと,細粒度でフレーム固有の細部をキャプチャする視覚プロンプトを提案する。
論文 参考訳（メタデータ） (2025-10-17T10:24:14Z) - Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。
本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
論文 参考訳（メタデータ） (2023-03-23T05:17:05Z) - Distilling Motion Planner Augmented Policies into Visual Control
Policies for Robot Manipulation [26.47544415550067]
我々は,国家ベースのモーションプランナ拡張ポリシーを視覚制御ポリシーに蒸留することを提案する。
閉塞環境における3つの操作課題について評価を行った。
我々のフレームワークはサンプリング効率が高く、最先端のアルゴリズムよりも優れています。
論文 参考訳（メタデータ） (2021-11-11T18:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。