論文の概要: Correcting WHERE, Preserving HOW: Compositional Generalization for Vision-Language-Action Models via Referential Guidance

• arxiv url: http://arxiv.org/abs/2609.38616v1
• Date: Tue, 29 Sep 2026 22:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.798108
• Title: Correcting WHERE, Preserving HOW: Compositional Generalization for Vision-Language-Action Models via Referential Guidance
• Title（参考訳）: 修正WHERE, 保存HOW: 参照誘導による視覚・言語・行動モデルの構成的一般化
• Abstract要約: 本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのトレーニングフリーラッパーとしてReferential Guidance(ReGuide)を提案する。 ReGuideは、標準タスクのパフォーマンスを維持しながら、最大56.8ポイントと75.0ポイントのコンポジションシフトでの成功率を向上させる。
• 参考スコア（独自算出の注目度）: 11.62114796394251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Vision-Language-Action (VLA) models enable flexible action generation, their generalization across diverse environmental elements, including manipulated objects, destinations, and backgrounds, is limited by the lack of diversity in robotic training data. Trained end-to-end on such data, VLAs tend to exploit visual shortcuts, associating actions with task-irrelevant visual features rather than the intended task semantics. These shortcuts block recomposition of elements already seen by the policy, that is, compositional generalization. Existing approaches mitigate such entanglement through task-relevant perception or targeted data diversification, but offer no explicit mechanism for unseen recomposition and require backbone-specific modifications with retraining. We observe that under such recomposition, VLAs often fail at global grounding while retaining local manipulation skills that recover near the correct target in familiar configurations. Therefore, we propose Referential Guidance (ReGuide), a training-free wrapper that, given object poses from a grounding module, combines semantic and geometric rebinding to guide the end-effector into demonstration-supported configurations of the instructed referent, where the frozen policy can resume execution. Experiments in simulation across multiple VLA backbones as well as on a real robot show that ReGuide improves success rates under compositional shifts by up to 56.8 and 75.0 percentage points, respectively, while preserving standard-task performance.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルはフレキシブルなアクション生成を可能にするが、操作対象、目的地、背景を含む様々な環境要素をまたいだ一般化は、ロボットトレーニングデータの多様性の欠如によって制限される。 このようなデータに基づいてエンドツーエンドにトレーニングされたVLAは、意図されたタスクセマンティクスではなく、タスク非関連な視覚的特徴とアクションを関連付ける、視覚的ショートカットを利用する傾向がある。 これらのショートカットは、既にポリシー、すなわち構成的一般化で見られる要素の分解をブロックする。 既存のアプローチでは、タスク関連知覚や対象データの多様化を通じて、このような絡み合いを緩和するが、目に見えない再構成の明確なメカニズムは提供せず、再トレーニングを伴うバックボーン固有の修正を必要としている。 このような再構成の下では、VLAは、よく知られた構成において、適切なターゲット付近で回復する局所的な操作スキルを維持しながら、グローバルな接地で失敗することが多い。 そこで,提案するReferential Guidance (ReGuide, Referential Guidance, ReGuide, Referential Guidance, ReGuide, Referential Guidance, ReGuide, Referential Guidance) は,対象物が接地モジュールからポーズし,意味的および幾何学的リバインドを組み合わせて,指示された参照者の実演支援構成に導出する。 複数のVLAバックボーンと実際のロボットを用いたシミュレーション実験により、ReGuideは標準タスクのパフォーマンスを維持しながら、最大56.8ポイントと75.0ポイントのコンポジションシフトで成功率を向上させることが示された。

関連論文リスト

• HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface [17.051345673499835]
  政策誘導型ユニバーサルマニピュレーションインタフェース(UMI)フレームワークであるHIL-UMIを紹介した。 ハンドヘルドUMIデモでは、HIL-UMIは予測を実行せずに、同じ観測ストリーム上の現在のポリシーをクエリする。 異なるフィードバックループでは、低オンライン優位予測は、進捗ベースの優位推定器を精算するために必要なセグメントを特定する。
  論文  参考訳（メタデータ） (2026-09-17T16:38:37Z)
• AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
  VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。 構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。 textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
  論文  参考訳（メタデータ） (2026-07-17T07:51:03Z)
• Compositional Context Fine-Tuning Vision-Language Model for Complex Assembly Action Understanding from Videos [11.617428552650027]
  我々は、構成文脈ファインチューニング(CCFT)を用いて、視覚言語モデル(VLM)をこの困難な領域に適用する。 CCFTは、アセンブリアクションをセマンティック要素(Verb、Object、Tool)と微調整のVLMに分解して、テンプレート化された質問応答ペアを使用して各アクション要素を認識する。 既存のアセンブリビデオデータセットからHA-ViD-VQAとIKEA-ASM-VQAデータセットを作成する。
  論文  参考訳（メタデータ） (2026-07-12T15:09:33Z)
• Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
  効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。 本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:43:47Z)
• PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
  PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。 本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
  論文  参考訳（メタデータ） (2025-12-03T12:14:29Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。