論文の概要: Rethinking Causal Action Tokenization with Conditional Annealing in Flow Matching

• arxiv url: http://arxiv.org/abs/2609.35469v1
• Date: Mon, 28 Sep 2026 15:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:10:52.371893
• Title: Rethinking Causal Action Tokenization with Conditional Annealing in Flow Matching
• Title（参考訳）: 流れマッチングにおける条件付アニーリングによる因果行動トークン化の再考
• Abstract要約: CATokは因果的行動トークンーザであり、因果的構造化された生成過程としてトークン化を再構成する。 我々は,CATok が再現性圧縮トレードオフと推論効率の両方において,既存のトークン化手法を一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 63.00892079900331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive Vision-Language-Action (VLA) models offer a scalable path to robot learning, yet existing action tokenizers treat tokenization as a compression problem, producing representations that are semantically misaligned with the autoregressive backbone. We propose CATok, a causal action tokenizer that reframes tokenization as a causally structured generative process. CATok introduces a conditional annealing mechanism that extracts action tokens by progressively annealing a flow-matching process: each token is conditioned on all preceding tokens and encodes the residual reconstruction signal at a specific noise level, establishing a coarse-to-fine causal token space whose generative semantics are structurally aligned with autoregressive modeling. A token-conditioned flow-matching decoder built on Multimodal Diffusion Transformer (MMDiT) reconstructs continuous action chunks from these discrete tokens with the precision of hybrid diffusion-head architectures. This discrete bottleneck enforces knowledge insulation by design, cleanly separating high-level semantic reasoning from low-level motor execution without requiring explicit attention masking. Extensive evaluations across three simulation benchmarks and real-world robotic manipulation tasks demonstrate that CATok consistently surpasses existing tokenization methods in both reconstruction fidelity-compression tradeoff and inference efficiency, while improving VLA task success rate and training efficiency, establishing a high-performance, scalable foundation for purely autoregressive VLA systems.
• Abstract（参考訳）: VLA(Autoregressive Vision-Language-Action)モデルは、ロボット学習へのスケーラブルなパスを提供するが、既存のアクショントークンーはトークン化を圧縮問題として扱い、意味的に自己回帰バックボーンと一致しない表現を生成する。 本稿では,因果的に構造化された生成過程としてトークン化を再構成する因果的アクショントークンライザであるCATokを提案する。 CATokは、フローマッチングプロセスを段階的にアニールすることでアクショントークンを抽出する条件付きアニーリング機構を導入している。各トークンは、すべての先行トークンに条件付けされ、特定のノイズレベルで残留再構成信号を符号化し、生成的セマンティクスが自己回帰的モデリングと構造的に整合した粗いから微細な因果トークン空間を確立する。 MMDiT(Multimodal Diffusion Transformer)上に構築されたトークン条件付きフローマッチングデコーダは、これらの離散トークンから連続的なアクションチャンクをハイブリッド拡散ヘッドアーキテクチャの精度で再構成する。 この離散的なボトルネックは、設計による知識絶縁を強制し、明示的な注意マスクを必要とせず、低レベルのモーター実行から高レベルのセマンティック推論をきれいに分離する。 3つのシミュレーションベンチマークと実世界のロボット操作タスクによる広範囲な評価は、CATokが再現性圧縮トレードオフと推論効率の両方において既存のトークン化手法を一貫して上回り、VLAタスクの成功率とトレーニング効率を改善し、純粋に自己回帰的なVLAシステムのための高性能でスケーラブルな基盤を確立していることを示している。

関連論文リスト

• OAT: Ordered Action Tokenization [44.20363344414952]
  自己回帰ポリシーは、離散的な抽象化、トークンレベルの推論、柔軟な推論を可能にすることで、スケーラブルなロボット学習のための魅力的な基盤を提供する。 既存のアプローチは、極端に長いトークン配列を生成する分析的な離散化法や、構造を持たない学習された潜在トークン化器に依存する。 本研究では,アクショントークン化のための3つのデシラタ(高圧縮,全復調性,左から右への因果的に順序付けられたトークン空間)を特定し,オーダードアクショントークン化(OAT)を導入する。 OATはレジスタを持つ変圧器、有限スカラー量子を用いて、アクションチャンクを順序付けられたトークン列に識別する
  論文  参考訳（メタデータ） (2026-02-04T05:01:04Z)
• Auto-Regressive Masked Diffusion Models [9.239507801466322]
  仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。 自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。 本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
  論文  参考訳（メタデータ） (2026-01-23T18:42:30Z)
• FASTer: Toward Efficient Autoregressive Vision Language Action Modeling via Neural Action Tokenization [61.10456021136654]
  本稿では,効率的で汎用的なロボット学習のための統合フレームワークであるFASTerを紹介する。 FASTerVQは、アクションチャンクをシングルチャネルイメージとしてエンコードし、高い圧縮比を維持しながら、グローバルな時間的依存関係をキャプチャする。 FASTerVLAはブロックワイドの自動回帰デコーディングと軽量アクションエキスパートを備えたトークンライザ上に構築されており、推論の高速化とタスクパフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-12-04T16:21:38Z)
• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [56.30231216917128]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。