論文の概要: From Pixels to Tokens: A Systematic Study of Latent Action Supervision for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2605.04678v1
• Date: Wed, 06 May 2026 09:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.748451
• Title: From Pixels to Tokens: A Systematic Study of Latent Action Supervision for Vision-Language-Action Models
• Title（参考訳）: 画素からトークンへ:視覚・言語・アクションモデルにおける潜在行動スーパービジョンの体系的研究
• Authors: Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang,
• Abstract要約: 本研究は,2つの視点から潜時行動監視に関する研究である。 (i) 画像に基づく潜時行動による軌道の規則化, (ii) 行動に基づく潜時行動による目標空間の統一である。 以上の結果より, 動作に基づく潜在動作は複雑な運動調整において優れるが, 定式化タスク対応は明らかである。
• 参考スコア（独自算出の注目度）: 14.109112325287208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent actions serve as an intermediate representation that enables consistent modeling of vision-language-action (VLA) models across heterogeneous datasets. However, approaches to supervising VLAs with latent actions are fragmented and lack a systematic comparison. This work structures the study of latent action supervision from two perspectives: (i) regularizing the trajectory via image-based latent actions, and (ii) unifying the target space with action-based latent actions. Under a unified VLA baseline, we instantiate and compare four representative integration strategies. Our results reveal a formulation-task correspondence: image-based latent actions benefit long-horizon reasoning and scene-level generalization, whereas action-based latent actions excel at complex motor coordination. Furthermore, we find that directly supervising the VLM with discrete latent action tokens yields the most effective performance. Finally, our experiments offer initial insights into the benefits of latent action supervision in mixed-data, suggesting a promising direction for VLA training. Code is available at https://github.com/RUCKBReasoning/From_Pixels_to_Tokens.
• Abstract（参考訳）: 潜在アクションは、異種データセット間の視覚言語アクション(VLA)モデルの一貫したモデリングを可能にする中間表現として機能する。 しかしながら、潜伏動作を伴うVLAを監視するためのアプローチは断片化されており、体系的な比較が欠如している。 この研究は2つの視点から潜在行動監督の研究を構造化する。 一 画像に基づく潜時行動により軌道を規則化し、 (ii)アクションベースの潜在アクションでターゲット空間を統一する。 統一VLAベースラインの下では、4つの代表的な統合戦略をインスタンス化し比較する。 画像に基づく潜時行動は長期の推論とシーンレベルの一般化に有効であるのに対し、アクションベースの潜時行動は複雑な運動調整において優れている。 さらに, 離散遅延アクショントークンを用いたVLMを直接監視することで, 最も効果的な性能が得られることがわかった。 最後に、我々の実験は、混合データにおける潜在行動監督の利点に関する最初の洞察を提供し、VLAトレーニングの有望な方向性を示唆している。 コードはhttps://github.com/RUCKBReasoning/From_Pixels_to_Tokensで公開されている。

関連論文リスト

• LARY: A Latent Action Representation Yielding Benchmark for Generalizable Vision-to-Action Alignment [19.95295518800639]
  一般的な視覚基盤モデルは、特殊エンボディ化潜在行動モデルより一貫して優れている。 ラテントベースの視覚空間は、ピクセルベースの空間よりも物理アクション空間に整合している。
  論文  参考訳（メタデータ） (2026-04-13T16:30:35Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models [69.58413440457828]
  VLA(Vision-Language-Action)モデルは、チェーン・オブ・思想(CoT)推論の恩恵を受けるが、既存のアプローチでは高い推論オーバーヘッドが生じる。 本稿では,マルチモーダル CoT 推論を具体化するための連続潜時表現に内包する統合 VLA フレームワークである Latent Reasoning VLA (textbfLaRA-VLA) を提案する。
  論文  参考訳（メタデータ） (2026-02-01T11:34:37Z)
• PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
  PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。 本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
  論文  参考訳（メタデータ） (2025-12-03T12:14:29Z)
• iFlyBot-VLA Technical Report [25.330744626382977]
  iFlyBot-VLA(iFlyBot-VLA)は、新しいフレームワークでトレーニングされた大規模ビジョン・ランゲージ・アクション(VLA)モデルである。 主なコントリビューションは,(1)大規模人体とロボットの操作映像を徹底的に訓練した潜在行動モデル,(2)視覚言語モデル(VLM)と訓練中のアクションエキスパートを協調的に監督する2段階の行動表現フレームワーク,(3)ロボット軌道データと一般的なQAデータセットと空間QAデータセットを組み合わせた混合トレーニング戦略である。
  論文  参考訳（メタデータ） (2025-11-01T06:24:56Z)
• Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization [42.41263928527529]
  VLA(Vision-Language-Action)モデルは、伝達可能な世界知識と視覚言語基盤を持つエージェントを支援できる。 しかし、これらのVLMがアクションモダリティに適合している場合、元の視覚的表現や知識がどの程度保存されているかははっきりしない。 本稿では,VLA微調整中の表現保持の系統的研究を行い,行動微調整が視覚的表現の劣化につながることを示す。
  論文  参考訳（メタデータ） (2025-10-29T15:20:10Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。