論文の概要: Concertina: Embodying Manipulation and Cognition in One Diffusion Vision-Language Model
- arxiv url: http://arxiv.org/abs/2611.07513v1
- Date: Thu, 05 Nov 2026 06:20:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.56592
- Title: Concertina: Embodying Manipulation and Cognition in One Diffusion Vision-Language Model
- Title(参考訳): コンチェルティナ:1拡散ビジョンランゲージモデルにおける操作と認知の具体化
- Abstract要約: ほとんどの視覚言語アクション(VLA)ポリシーは、視覚言語モデル(VLM)に外部アクション機構をボルトすることで、操作を認知から切り離す。
我々は、操作と認知は代わりに同じモデルに具体化されるべきであり、分離されたVLAから身体的視覚ランゲージモデル(eVLM)へ移行する。
共有拡散VLMバックボーンの計算とパラメータパスに直接、連続的な軌道表現、ブロックワイズ生成、物理座標制御を配置するeVLMであるConsoleinaを導入する。
- 参考スコア(独自算出の注目度): 50.555143044092496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most vision-language-action (VLA) policies decouple manipulation from cognition by bolting an external action mechanism onto a vision-language model (VLM)--either quantizing actions into discrete tokens whose errors bear no stable correspondence to physical displacements, or delegating continuous trajectory generation to a separate action expert whose gradients compete with or are blocked from updating the VLM backbone. We argue that manipulation and cognition should instead be embodied in the same model, shifting from a decoupled VLA to an Embodied Vision-Language Model (eVLM). We introduce Concertina, an eVLM that places continuous trajectory representation, blockwise generation, and physical-coordinate supervision directly on the computation and parameter path of a shared diffusion VLM backbone. Each control timestep is encoded as one continuous latent action token in the backbone hidden space, and the shared Transformer reconstructs temporally ordered action blocks via the same corrupt-and-reconstruct operator used for multimodal pretraining. Active action projections account for only 0.21% of parameters in the 4.46B model with zero separate action-generator layers, compared with 16.5%-35.1% dedicated action-expert capacity in representative continuous VLAs. Using our proposed Action Interface Audit, we confirm that cross-time trajectory coupling emerges in the middle and late layers of the shared backbone rather than at the action interfaces. On standard benchmarks, Concertina achieves 98.15% average success on regular LIBERO, 85.9% on the 10,030-task LIBERO-Plus benchmark, and 4.142 average completed chain length on CALVIN ABC-D. Code: https://github.com/lose4578/Concertina Hugging Face: https://huggingface.co/collections/Traly/concertina
- Abstract(参考訳): 視覚-言語-アクション(VLA)のほとんどのポリシーは、外部のアクションメカニズムを視覚-言語モデル(VLM)にボルトすることで、操作を認知から切り離す。
我々は、操作と認知は代わりに同じモデルに具体化されるべきであり、分離されたVLAからEmbodied Vision-Language Model (eVLM)へと移行する。
共有拡散VLMバックボーンの計算とパラメータパスに直接、連続的な軌道表現、ブロックワイズ生成、物理座標制御を配置するeVLMであるConsoleinaを導入する。
各制御タイムステップは、バックボーン隠蔽空間内の1つの連続潜時アクショントークンとして符号化され、共有トランスフォーマーは、マルチモーダル事前学習に使用される同じ汚・再構成演算子を介して、時間的に順序付けられたアクションブロックを再構成する。
アクティブ・アクション・プロジェクションは4.46Bモデルではパラメータの0.21%に過ぎず、分離されたアクション・ジェネレーター層は16.5%-35.1%に留まった。
提案したAction Interface Auditを用いて,動作インターフェースではなく,共有バックボーンの中間層と後半層にクロスタイムトラジェクトリ結合が出現することを確認する。
標準ベンチマークでは、Concetininaは通常のLIBEROで平均98.15%、10,030タスクのLIBERO-Plusで平均85.9%、CALVIN ABC-Dで平均4.142チェーン長を達成した。
コード: https://github.com/lose4578/Concertina Hugging Face: https://huggingface.co/collections/Traly/Concertina
関連論文リスト
- Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors [0.0]
VLA(Vision-Language-Action)モデルは、LLM(Large Language Model)デコーダを介してトークンによってロボットアクショントークンを生成する。
本稿では、自動回帰デコーダを軽量遅延制御ループに置き換えるゴールコンディションド・ビジョン・プレクタ・アクション(VPA)を提案する。
論文 参考訳(メタデータ) (2026-10-11T11:59:18Z) - Quantile Head for Vision-Language-Action Models [51.02329790939691]
我々は、中央値と正のギャップを予測し、1つの前方通過で順序付けられた境界作用量子化を形成するQuantile Headを開発する。
この量的目的は、中央値と正のギャップを予測し、1つの前方通過で順序付けられた辺りのアクション量子化を形成するQuantile Headの設計を導く。
実験の結果, この共同管理型中央値政策は, 比較手法の平均成功率が最も高いことがわかった。
論文 参考訳(メタデータ) (2026-09-28T00:40:10Z) - ActionGround: Training-Free Runtime Refinement of Frozen VLA Policies [0.0]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を直接ロボットアクションにマッピングする。
本稿では,凍結したVLAポリシをラップした,ニューロシンボリックでトレーニング不要な実行層であるActionGroundを紹介する。
我々は,OpenVLA,OpenVLA-OFT,Force-VLA,Generalist-VLAの10種類のLIBERO-Spatial pick-and-placeタスクにおけるActionGroundの評価を行った。
論文 参考訳(メタデータ) (2026-09-27T05:59:06Z) - AcrossWAM1.0:A Modular Latent World-Action Stack for Compact Robot Policies [14.556446786016787]
本稿では,LaWAMの潜在的ワールドアクションスタックのモジュール化とスケーリングに関する研究であるAcrossWAM1.0を紹介する。
AcrossWAM1.0は、コンパクトな潜在世界アクションポリシーのための監査可能なソフトウェアと評価バウンダリを提供する。
論文 参考訳(メタデータ) (2026-08-30T18:09:17Z) - Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models [48.13124286519152]
拡散に基づく視覚言語アクションモデルはしばしば画像生成ビューを継承する。
標準拡散訓練から強力なワンステップアクション生成が生ずることを示す。
論文 参考訳(メタデータ) (2026-06-04T05:58:30Z) - RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。
潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。
RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文 参考訳(メタデータ) (2026-05-13T11:58:02Z) - DFM-VLA: Iterative Action Refinement for Robot Manipulation via Discrete Flow Matching [20.252867273996085]
本稿では,アクショントークンの反復精製のための離散フローマッチングVLAであるDFM-VLAを提案する。
DFM-VLAは、操作性能において、強い自己回帰、離散拡散、連続拡散ベースラインよりも一貫して優れる。
論文 参考訳(メタデータ) (2026-03-27T11:38:43Z) - $\mathcal{E}_0$: Enhancing Generalization and Fine-Grained Control in VLA Models via Continuized Discrete Diffusion [65.77755100137728]
本稿では、量子化されたアクショントークンを反復的にデノケーションするアクション生成を定式化する、連続的な離散拡散フレームワークであるE0を紹介する。
E0は14の多様な環境において最先端のパフォーマンスを達成し、平均して10.7%強のベースラインを達成している。
論文 参考訳(メタデータ) (2025-11-26T16:14:20Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳(メタデータ) (2025-06-24T17:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。