論文の概要: M2Tok: Multi-head Multi-codebook Discrete Action Tokenization for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2609.18259v2
• Date: Thu, 17 Sep 2026 16:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.695341
• Title: M2Tok: Multi-head Multi-codebook Discrete Action Tokenization for Vision-Language-Action Models
• Title（参考訳）: M2Tok:視覚・言語・アクションモデルのためのマルチヘッドマルチコードブック離散アクショントークン化
• Abstract要約: M2$Tokは、リコンストラクションエラーを最小限に抑え、ポリシー性能を向上させるために設計されたマルチヘッドマルチコードブックアクショントークンライザである。 提案手法は,RoboTwin,Simpler-Env,および3つのゼロショット実世界のタスクで評価する。
• 参考スコア（独自算出の注目度）: 46.44049763727255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements have successfully adapted autoregressive language models to process multimodal signals, such as images and actions. Since raw action signals are continuous, effective tokenization is essential to map high-dimensional inputs into compact discrete tokens for autoregressive processing. However, existing discrete action tokenizers often suffer from high reconstruction loss, failing to preserve the fine-grained dynamics required for precise control. This "discretization bottleneck" significantly limits the performance ceiling of downstream Vision-Language-Action (VLA) models. To address this, we propose ${M}^2$Tok, a Multi-head Multi-codebook Action Tokenizer designed to minimize reconstruction error and enhance policy performance. Our approach introduces two key structural innovations: (1) we decompose the latent action features into multiple heads, enabling the model to implicitly align specific heads with distinct action dimensions; (2) we assign independent codebooks to each head for quantization. By leveraging the combinatorial nature of multiple codebooks, we significantly expand the representational expressivity of the tokenizer, leading to substantially lower reconstruction loss compared to previous methods. We evaluate the ${M}^2$Tok-based VLA on the RoboTwin, Simpler-Env, and 3 zero-shot real-world tasks. Experimental results demonstrate our method not only achieves superior reconstruction fidelity but also significantly boosts the success rate of VLA models. Comprehensive ablation studies further confirm the effectiveness of the multi-head and multi-codebook mechanisms. Code is available at https://github.com/cpaaax/M2Tok.
• Abstract（参考訳）: 近年の進歩は、画像や行動などのマルチモーダル信号を処理するために、自己回帰言語モデルに順応することに成功した。 生の行動信号は連続であるため、高次元入力を自己回帰処理のためのコンパクトな離散トークンにマッピングするためには効果的なトークン化が不可欠である。 しかし、既存の離散的なアクション・トークンーザは、しばしば高い復元損失を被り、正確な制御に必要な微粒なダイナミクスを保たない。 この"離散化ボトルネック"は、下流のVision-Language-Action(VLA)モデルのパフォーマンス天井を著しく制限する。 そこで本研究では,再構成エラーを最小限に抑え,ポリシー性能を向上させるために,マルチヘッド型マルチコードブックアクショントケナイザである${M}^2$Tokを提案する。 提案手法では,(1)潜在行動特徴を複数の頭部に分解し,特定の頭部を異なる行動次元で暗黙的にアライメントし,(2)個別のコードブックを各頭部に割り当てて量子化を行う。 複数のコードブックの組合せ特性を利用することで、トークン化器の表現表現性を大幅に拡張し、従来の方法に比べて大幅な再構成損失を低減した。 我々は,RoboTwin,Simpler-Env,および3つのゼロショット実世界のタスクに対して,${M}^2$TokベースのVLAを評価する。 実験により,本手法は良好な復元精度を達成するだけでなく,VLAモデルの成功率を大幅に向上させることが示された。 包括的アブレーション研究は、マルチヘッドおよびマルチコードブック機構の有効性をさらに確認する。 コードはhttps://github.com/cpaaax/M2Tok.comで入手できる。

関連論文リスト

• Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling [22.020464703520148]
  DenseARは, 自己回帰画像生成を粗いnddense-stride予測として再構成する新しい生成パラダイムである。 我々の重要な洞察は、一スケールの潜水格子を徐々に密度を増し、自然に世界構造から細部への遷移を捉えているということである。
  論文  参考訳（メタデータ） (2026-07-10T18:32:27Z)
• Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
  UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。 UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。 拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
  論文  参考訳（メタデータ） (2026-06-16T17:59:22Z)
• X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining [30.94061302469486]
  X-Tokenizerは、共有アクションインタフェースを提供する軽量エンコーダ-セマンティック残留量子化(SRQ)デコーダアーキテクチャである。 X-Tokenizerは、上位の現実世界の集約と強力なRoboTwin 2.0シミュレーション結果を達成する。
  論文  参考訳（メタデータ） (2026-06-07T09:39:39Z)
• Reconstructing Content via Collaborative Attention to Improve Multimodal Embedding Quality [59.651410243721045]
  CoCoAは、マルチモーダル埋め込み最適化のための協調注意に基づくコンテンツ再構成事前学習パラダイムである。 EOSをベースとした再構築タスクを導入し、対応するEOS>埋め込みからの入力を再構成するようモデルに促す。 MMEB-V1の実験では、Qwen2-VLとQwen2.5-VLをベースにしたCoCoAが埋め込み品質を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-03-02T05:34:45Z)
• Point Cloud Quantization through Multimodal Prompting for 3D Understanding [20.397232104616574]
  本稿では,ポイントクラウド解析のための簡易なマルチモーダルプロンプト駆動量子化フレームワークを提案する。 1) 事前訓練されたモデルからのテキスト埋め込みは、視覚的意味論を本質的にエンコードする。 我々は、量子化空間を維持しながら微分可能な離散化を実現するために、Gumbel-Softmax緩和を用いる。
  論文  参考訳（メタデータ） (2025-11-15T07:51:10Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Plug-and-Play Context Feature Reuse for Efficient Masked Generation [36.563229330549284]
  MGM(Masked Generative Model)は、画像合成の強力なフレームワークとして登場した。 本稿では,MGMの推論を高速化するプラグイン・アンド・プレイモジュールであるReCAP(Reused Context-Aware Prediction)を紹介する。
  論文  参考訳（メタデータ） (2025-05-25T10:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。