論文の概要: X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

• arxiv url: http://arxiv.org/abs/2606.14752v1
• Date: Sun, 07 Jun 2026 09:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:04.908603
• Title: X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining
• Title（参考訳）: X-Tokenizer:ビジョンランゲージ・アクション事前トレーニングのためのマルチモーダルアクション・トケナイザ
• Authors: Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su,
• Abstract要約: X-Tokenizerは、共有アクションインタフェースを提供する軽量エンコーダ-セマンティック残留量子化(SRQ)デコーダアーキテクチャである。 X-Tokenizerは、上位の現実世界の集約と強力なRoboTwin 2.0シミュレーション結果を達成する。
• 参考スコア（独自算出の注目度）: 30.94061302469486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Vision-Language-Action (VLA) models must bridge pretrained vision-language reasoning and precise continuous robot control. Existing action tokenizers discretize actions primarily for reconstruction, producing codes that preserve motion geometry but provide only weak semantic supervision to the backbone. We therefore formulate action tokenization not as mere compression, but as semantic interface learning between multimodal reasoning and executable control. To this end, we introduce X-Tokenizer, a lightweight encoder-Semantic Residual Quantization (SRQ)-decoder architecture that provides a shared action interface across diverse robotic arm embodiments. Its key component, SRQ, imposes an asymmetric structure on residual vector quantization: the first level is trained with Masked Action Modeling (MAM) to form a discrete action language that captures coarse motion intent, while deeper levels remain reconstruction-oriented residuals that preserve fine-grained details. To further align action tokens with multimodal semantics, X-Tokenizer is pretrained with contrastive alignment to the representation space of a pretrained foundation model and with next-frame vision-language feature prediction. Pretrained on 2.4M trajectories (2.0B action frames), a single frozen X-Tokenizer plugs into a mixed discrete-continuous VLA as a representation-shaping supervision signal. X-Tokenizer achieves top real-world aggregate and strong RoboTwin 2.0 simulation results. Outperforming FAST in multimodal grounding (+13.5%) and long-horizon tasks (+8.25), it shows that action tokenizers serve as semantic interfaces for VLA pretraining beyond mere action compression.
• Abstract（参考訳）: 現代のビジョン・ランゲージ・アクション(VLA)モデルは、事前訓練された視覚言語推論と正確な連続ロボット制御を橋渡ししなければならない。 既存のアクショントークンライザは、主に再構築のためのアクションを識別し、モーションジオメトリを保存するコードを生成するが、バックボーンに対する弱いセマンティックな管理しか提供しない。 したがって、アクショントークン化は単なる圧縮ではなく、マルチモーダル推論と実行可能な制御の間のセマンティックインターフェース学習として定式化する。 そこで本研究では,軽量なエンコーダ-セマンティック残留量子化(SRQ)デコーダアーキテクチャであるX-Tokenizerを紹介する。 最初のレベルはMasked Action Modeling (MAM)でトレーニングされ、粗い動きの意図を捉えた個別のアクション言語を形成する。 アクショントークンとマルチモーダルなセマンティクスを更に整合させるため、X-Tokenizerは事前訓練された基礎モデルの表現空間と、次世代のビジョン言語の特徴予測との対比で事前訓練される。 2.4M軌道(2.0Bアクションフレーム)で事前訓練された1つの冷凍X-Tokenizerは、表現整形監視信号として混合した離散連続VLAに接続する。 X-Tokenizerは、上位の現実世界のアグリゲーションと強力なRoboTwin 2.0シミュレーション結果を達成する。 マルチモーダルグラウンドリング(+13.5%)およびロングホライゾンタスク(+8.25)におけるFASTのパフォーマンスは、アクショントークン化が単なるアクション圧縮以上のVLA事前トレーニングのセマンティックインターフェースとして機能することを示している。

関連論文リスト

• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation [65.6201974979119]
  本稿では,効率的なロボットマニピュレーションのためのセマンティックスペーシフィケーション・エンハンスメントを実現する新しいVLAフレームワークSemanticVLAを提案する。 SemanticVLAはOpenVLA on LIBEROベンチマークを21.1%上回り、トレーニングコストと推論遅延を3.0倍と2.7倍に削減した。
  論文  参考訳（メタデータ） (2025-11-13T17:24:37Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
  我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。 その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
  論文  参考訳（メタデータ） (2025-10-08T03:55:24Z)
• CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
  CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。 CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。 これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
  論文  参考訳（メタデータ） (2025-06-24T17:30:27Z)
• BEAST: Efficient Tokenization of B-Splines Encoded Action Sequences for Imitation Learning [24.858548048614878]
  B-spline Encoded Action Sequence Tokenizer (BEAST)について述べる。 BEAST は B-splines を用いて、アクションシーケンスをコンパクトな離散トークンまたは連続トークンにエンコードする。 BEASTは166のシミュレーションタスクと8つの実世界のタスクからなる3つの異なるロボット設定からなる3つの確立されたベンチマークで評価した。
  論文  参考訳（メタデータ） (2025-06-06T13:26:16Z)
• Making LLaMA SEE and Draw with SEED Tokenizer [69.1083058794092]
  大規模言語モデルにSEEとDrawの能力を持たせるための精巧な画像トークンであるSEEDを紹介します。 SEEDトークンを使うことで、LLMはオリジナルのトレーニングレシピの下でスケーラブルなマルチモーダルオートレグレスを実行することができる。 SEED-LLaMAはマルチターン・イン・コンテクスト・マルチモーダル生成のような合成創発的能力を示す。
  論文  参考訳（メタデータ） (2023-10-02T14:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。