論文の概要: Same Scene, Different Task: Skill Alignment for Compositional Generalization in VLAs

• arxiv url: http://arxiv.org/abs/2610.00524v1
• Date: Wed, 30 Sep 2026 18:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.688649
• Title: Same Scene, Different Task: Skill Alignment for Compositional Generalization in VLAs
• Title（参考訳）: 異なる課題:VLAにおける構成一般化のためのスキルアライメント
• Abstract要約: 視覚言語アクション(VLA)モデルは、微調整されたデモから欠落したスキルの組み合わせを一般化するのに苦労することが多い。 本稿では,CRAFTを提案する。このCRAFTは,必要なスキルの実行の実証から,対実対に監督を移す。 実証されていない組み合わせの成功を向上し、実証された組み合わせで高い成功を維持する。
• 参考スコア（独自算出の注目度）: 16.579552695720462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models often struggle to generalize to skill combinations absent from their fine-tuning demonstrations, even when every constituent skill has been demonstrated. We focus on a vision shortcut as one failure mode: during fine-tuning, visual observations can serve as a proxy for the instruction, so a policy may execute a demonstrated combination associated with similar observations rather than the instructed combination. This motivates training with counterfactual pairs formed by holding a demonstration observation fixed while changing the instruction to specify an undemonstrated combination. These pairs, however, lack corresponding demonstrated action targets. Crucially, the currently required skill has already been demonstrated, but actions from those executions cannot serve as direct targets because the same skill can require different actions across observations. We propose CRAFT, which transfers supervision from demonstrated executions of the required skill to counterfactual pairs using skill representations that can be reused across executions of the same skill. Across three VLA models and two simulation benchmarks, CRAFT improves success on undemonstrated combinations while maintaining high success on demonstrated ones; it also improves compositional generalization on a real robot. Project website: https://taegeunyang.github.io/craft/
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、すべての構成スキルが実証されたとしても、微調整されたデモから欠落したスキルの組み合わせを一般化するのに苦労することが多い。 微調整中、視覚観察は命令のプロキシとして機能するので、ポリシーは指示された組み合わせではなく、類似の観測に関連する実証的な組み合わせを実行することができる。 これにより、実証観察を固定し、実証されていない組み合わせを指定するように指示を変更しながら、対物対による訓練を動機付ける。 しかし、これらのペアは、実演されたアクションターゲットを欠いている。 重要なことに、現在必要とされるスキルはすでに実証されているが、これらの実行からのアクションは、観察間で異なるアクションを必要とするため、直接ターゲットとして機能することができない。 そこで我々は,CRAFTを提案する。CRAFTは,必要なスキルの実行の実証から,同じスキルの実行に対して再利用可能なスキル表現を用いて,対実的なペアに監督を移す。 3つのVLAモデルと2つのシミュレーションベンチマークで、CRAFTは実証されていない組み合わせの成功を向上し、実ロボットの合成一般化も改善した。 プロジェクトウェブサイト: https://taegeunyang.github.io/craft/

関連論文リスト

• When Instructions Retrieve Trajectories: Diagnosing and Mitigating Generalization Failures in VLA Models [18.16273179954973]
  視覚言語アクション(VLA)モデルは、分配タスクで90%以上の成功を達成できる。 ポリシーは言語と視覚の両方に反応するが、それらを組み合わせてタスクが必要とするアクションを選択することはない。 細調整された$_0.5$とGR00T-N1.7ポリシーの振る舞い解析により、ロールアウトが失敗した場合、ソースの動作を維持したり、別のデモタスクに切り替えたりすることが多いことが明らかになった。
  論文  参考訳（メタデータ） (2026-09-30T15:34:57Z)
• Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation [13.13689771374717]
  本研究では,テスト時に積極的に推論された視点の列に対して,行動予測を条件付ける模倣学習手法であるSeries2Actを提案する。 このポリシーは、オフラインのデモからアクションに固定されたカメラのポーズを使って訓練され、行動の仕方を学びながら、どこを見るべきかを暗黙的に学ぶことができる。
  論文  参考訳（メタデータ） (2026-06-22T17:19:57Z)
• Jointly Learning Predicates and Actions Enables Zero-Shot Skill Composition [17.86021633953882]
  述語行動スキル (Predicate Action Skills, PACTS) は、行動に関する共同生成プロセスとしてスキルをモデル化し、信念の軌跡を述語するクローズドループビズモータ政策のクラスである。 アクションと述語を共同生成することで、PACTSはアクション生成と述語分類の両方を改善する内部表現を学ぶことができる。 PACTSのオンライン述語予測を,実行のシークエンシングとモニタリングのためのシンボルインターフェースとして活用することで,学習スキルのゼロショット構成を計画を通じて実証する。
  論文  参考訳（メタデータ） (2026-05-20T03:09:41Z)
• When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs [31.92520697946991]
  VLA(Vision-Language-Action Model)は、ロボット制御における言語命令の基盤となることを約束するが、実際には言語に忠実に従わないことが多い。 反ファクトの失敗は、最先端のVLAで発見されていないことが示される。 本稿では,単純な2分岐推論方式であるCAGを提案する。
  論文  参考訳（メタデータ） (2026-02-19T18:59:20Z)
• CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
  本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。 CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。 本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-07T16:26:33Z)
• DualVLA: Building a Generalizable Embodied Agent via Partial Decoupling of Reasoning and Action [62.70893433854428]
  推論能力を維持しつつ、慎重に設計した後処理により動作性能を向上させるDualVLAを提案する。 実験の結果、DualVLAはSimplerEnvの平均成功率は61.0であり、8つの競合するマルチモーダルベンチマークの平均スコアは65.4であることがわかった。
  論文  参考訳（メタデータ） (2025-11-27T06:03:53Z)
• SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution [75.2573501625811]
  拡散モデルは、ロボット軌道計画の強力な可能性を示している。 高レベルの命令からコヒーレントな軌道を生成することは依然として困難である。 エンド・ツー・エンドの階層的計画フレームワークであるSkillDiffuserを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:16:52Z)
• Extraneousness-Aware Imitation Learning [25.60384350984274]
  Extraneousness-Aware Learning (EIL)は、外部サブシーケンスを用いた第三者によるデモンストレーションから、ビズモタポリシーを学ぶ。 EILは、自己監督された方法で行動条件付き観察埋め込みを学習し、視覚的なデモンストレーション全体にわたってタスク関連観測を検索する。 実験の結果、EILは強いベースラインを上回り、完璧なデモで訓練した人たちと同等のポリシーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-10-04T04:42:26Z)
• Drawing out of Distribution with Neuro-Symbolic Generative Models [49.79371715591122]
  ドローイング・アウト・オブ・ディストリクト(英: Drawing out of Distribution)は、ストローク・ベース・ドローイングの神経象徴的生成モデルである。 DooDは画像を直接操作するが、監視や高価なテストタイム推論は必要ない。 我々は、データとタスクをまたいだ一般化能力について、DooDを評価した。
  論文  参考訳（メタデータ） (2022-06-03T21:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。