Fugu-MT 論文翻訳(概要): OmniSAT: Compact Action Token, Faster Auto Regression

論文の概要: OmniSAT: Compact Action Token, Faster Auto Regression

arxiv url: http://arxiv.org/abs/2510.09667v1
Date: Wed, 08 Oct 2025 03:55:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 18:06:29.53905
Title: OmniSAT: Compact Action Token, Faster Auto Regression
Title（参考訳）: OmniSAT: コンパクトなアクショントークンとより高速なオートレグレッション
Authors: Huaihai Lyu, Chaofan Chen, Senwei Xie, Pengwei Wang, Xiansheng Chen, Shanghang Zhang, Changsheng Xu,
Abstract要約: 我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
参考スコア（独自算出の注目度）: 70.70037017501357
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing Vision-Language-Action (VLA) models can be broadly categorized into diffusion-based and auto-regressive (AR) approaches: diffusion models capture continuous action distributions but rely on computationally heavy iterative denoising. In contrast, AR models enable efficient optimization and flexible sequence construction, making them better suited for large-scale pretraining. To further improve AR efficiency, particularly when action chunks induce extended and high-dimensional sequences, prior work applies entropy-guided and token-frequency techniques to shorten the sequence length. However, such compression struggled with \textit{poor reconstruction or inefficient compression}. Motivated by this, we introduce an Omni Swift Action Tokenizer, which learns a compact, transferable action representation. Specifically, we first normalize value ranges and temporal horizons to obtain a consistent representation with B-Spline encoding. Then, we apply multi-stage residual quantization to the position, rotation, and gripper subspaces, producing compressed discrete tokens with coarse-to-fine granularity for each part. After pre-training on the large-scale dataset Droid, the resulting discrete tokenization shortens the training sequence by 6.8$\times$, and lowers the target entropy. To further explore the potential of OmniSAT, we develop a cross-embodiment learning strategy that builds on the unified action-pattern space and jointly leverages robot and human demonstrations. It enables scalable auxiliary supervision from heterogeneous egocentric videos. Across diverse real-robot and simulation experiments, OmniSAT encompasses higher compression while preserving reconstruction quality, enabling faster AR training convergence and model performance.
Abstract（参考訳）: 既存のVision-Language-Action(VLA)モデルは拡散ベースと自己回帰(AR)アプローチに大きく分類することができる。対照的に、ARモデルは効率的な最適化とフレキシブルなシーケンス構築を可能にし、大規模な事前トレーニングに適している。アクションチャンクが拡張および高次元シーケンスを誘導する場合、特にAR効率をさらに向上させるため、先行研究ではエントロピー誘導およびトークン周波数技術を用いてシーケンス長を短縮する。しかし、そのような圧縮は「textit{poor reconstruction」や「非効率的な圧縮」と競合した。これに触発されたOmni Swift Action Tokenizerは、コンパクトで転送可能なアクション表現を学習する。具体的には、まず値範囲と時間的水平線を正規化し、B-Splineエンコーディングと一貫した表現を得る。次に, 位置, 回転, 把持部分空間に多段階残差量子化を適用し, 各部分に対して粗粒度で圧縮された離散トークンを生成する。大規模なデータセットDroidで事前トレーニングを行った結果、離散トークン化によってトレーニングシーケンスが6.8$\times$に短縮され、ターゲットエントロピーが低下する。 OmniSATのさらなる可能性を探るため、我々は、統合されたアクション・パターン・スペースの上に構築され、ロボットと人間のデモを共同で活用するクロス・エボディメント・ラーニング・ストラテジーを開発した。異質なエゴセントリックなビデオからスケーラブルな補助監視を可能にする。 OmniSATは、様々な実ロボットおよびシミュレーション実験全体にわたって、再構築品質を維持しながら高い圧縮を包含し、より高速なARトレーニング収束とモデル性能を実現する。

論文の概要: OmniSAT: Compact Action Token, Faster Auto Regression

関連論文リスト