論文の概要: ActionCodec2: A Streaming Action Tokenizer
- arxiv url: http://arxiv.org/abs/2611.15490v1
- Date: Wed, 11 Nov 2026 13:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.159206
- Title: ActionCodec2: A Streaming Action Tokenizer
- Title(参考訳): ActionCodec2: ストリーミングアクショントケナイザ
- Abstract要約: ActionCodec2は、視覚言語アクションモデルのための非ニューラルストリーミングトークンである。
エンコーダはデコーダの再構成状態に対して各ステップを量子化し、選択された動作プリミティブは残差を補正する。
24のエボディメントから20k時間のデータに装着されたユニバーサルバージョンでは、15Hzのエンドエフェクター動作で毎秒8.8トークンが使用される。
- 参考スコア(独自算出の注目度): 34.185871074014266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most action tokenizers for autoregressive vision language action (VLA) models compress motion into chunks that must be decoded in full before their actions become executable. We introduce ActionCodec2, a non-neural streaming tokenizer that releases actions incrementally while keeping trajectory reconstruction error within a prescribed tolerance. Its encoder quantizes each step relative to the decoder's reconstructed state, so the selected motion primitive corrects residual error rather than allowing errors from independently quantized increments to accumulate. Finding the smallest such primitive set is a geometric covering problem; we derive the exact minimum for translation and constant-factor-tight bounds for rotation. Set-BPE then losslessly merges co-occurring primitive symbols across coordinates and neighboring steps, without a fixed coordinate ordering. A universal version fitted on 20k hours of data from 24 embodiments averages 8.8 tokens per second for 15 Hz end-effector motion on this corpus. With the same VLA backbone, ActionCodec2 outperforms the compared tokenizers on three simulation benchmarks and in zero-shot real-robot evaluation. Its streaming representation allows policies to incorporate state feedback within an action chunk, substantially improving performance over open-loop execution under randomized dynamics, external disturbances, and moving objects. The same tokens also can serve as a direct control interface for VLM agents, which compose successful action sequences into reusable macros. These agent-built macros reduce control decisions and thinking-token usage across attempts and transfer to a held-out task. More results are available at https://zibindong.github.io/actioncodec2-page/
- Abstract(参考訳): 自動回帰視覚言語アクション(VLA)モデルのためのほとんどのアクショントークンは、アクションが実行可能になる前に完全にデコードされなければならないチャンクに動きを圧縮する。
我々はActionCodec2を紹介した。ActionCodec2は、トラジェクティブ再構成エラーを所定の許容範囲内に保持しながら、アクションを段階的にリリースする非ニューラルストリーミングトークンである。
エンコーダはデコーダの再構成された状態に対して各ステップを量子化するので、選択された動きプリミティブは、独立に量子化されたインクリメントからのエラーを蓄積するのではなく、残差を補正する。
そのような最小の原始集合を見つけることは幾何学的被覆問題であり、翻訳の正確な最小値と回転の定数-要素-タイト境界を導出する。
セット-BPEは、固定された座標順序を伴わずに、座標と隣接するステップをまたいだ原始記号を無益にマージする。
24のエボディメントから20k時間のデータに装着されたユニバーサルバージョンは、このコーパス上の15Hzのエンドエフェクター運動に対して、毎秒8.8トークンである。
同じVLAバックボーンで、ActionCodec2は3つのシミュレーションベンチマークとゼロショットのリアルタイムロボット評価において、比較トークンよりもパフォーマンスが高い。
そのストリーミング表現により、ポリシーはアクションチャンクに状態フィードバックを組み込むことができ、ランダム化されたダイナミックス、外部障害、移動オブジェクトの下でのオープンループ実行よりも大幅にパフォーマンスが向上する。
同じトークンはVLMエージェントの直接制御インターフェースとしても機能し、アクションシーケンスを再利用可能なマクロに構成する。
これらのエージェントで構築されたマクロは、試行錯誤による制御決定と思考の難易度を低減し、ホールドアウトタスクに転送する。
さらなる結果はhttps://zibindong.github.io/actioncodec2-page/で確認できる。
関連論文リスト
- ActPrune: Action-Grounded Visual Token Pruning for Efficient Vision-Language-Action Models [9.377642970890426]
トレーニング不要なトークンプルーニング手法であるActPruneを提案する。
視覚エンコーダの前方にプルーニング決定を移動させ、幾何学的に先行して接地する。
最大1.61$times$スピードアップと59.5%のFLOPを削減できる。
論文 参考訳(メタデータ) (2026-11-06T00:32:27Z) - Concertina: Embodying Manipulation and Cognition in One Diffusion Vision-Language Model [50.555143044092496]
ほとんどの視覚言語アクション(VLA)ポリシーは、視覚言語モデル(VLM)に外部アクション機構をボルトすることで、操作を認知から切り離す。
我々は、操作と認知は代わりに同じモデルに具体化されるべきであり、分離されたVLAから身体的視覚ランゲージモデル(eVLM)へ移行する。
共有拡散VLMバックボーンの計算とパラメータパスに直接、連続的な軌道表現、ブロックワイズ生成、物理座標制御を配置するeVLMであるConsoleinaを導入する。
論文 参考訳(メタデータ) (2026-11-05T06:20:37Z) - Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors [0.0]
VLA(Vision-Language-Action)モデルは、LLM(Large Language Model)デコーダを介してトークンによってロボットアクショントークンを生成する。
本稿では、自動回帰デコーダを軽量遅延制御ループに置き換えるゴールコンディションド・ビジョン・プレクタ・アクション(VPA)を提案する。
論文 参考訳(メタデータ) (2026-10-11T11:59:18Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳(メタデータ) (2026-08-27T17:26:24Z) - A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution [0.0]
本稿では、リカレント制御、明示的な演算ルータ、軌道監視を組み合わせたトレース制御型シンボリック・ニューラルCPUを提案する。
このモデルは選択した操作、ソースレジスタと宛先レジスタ、レジスタトラジェクトリ、メモリ信号、書き込みセマンティクスを公開する。
これらの結果は、解釈可能で、低精度で制御可能なニューラル実行のための、トレース検証可能なフレームワークを確立する。
論文 参考訳(メタデータ) (2026-07-10T22:55:23Z) - ActionMap: Robot Policy Learning via Voxel Action Heatmap [61.10410508218428]
ActionMapは、ネイティブアクションデコーダの代わりに既存のVLAにドロップする。
Heatmapヘッドは、マッチしたトレーニングステップで、2つのアーキテクチャ的に異なるバックボーンを越えます。
クロスバックボーン一貫性は、アクション表現がVLAパフォーマンスの真のレバーであることを示している。
論文 参考訳(メタデータ) (2026-06-05T04:42:56Z) - Understanding-Enhanced Model Collaboration for Long-Tailed Egocentric Mistake Detection [85.49213290363834]
理解力向上型モデル協調手法(UE-MCM)を提案する。
より効率的な粗いビデオ理解と正確なきめ細かなアクション推論を組み合わせる。
結果として得られるシステムは速度と精度のバランスを保ち、エゴセントリックな指導ビデオの微妙で稀で曖昧な誤りを検出するのに効果的である。
論文 参考訳(メタデータ) (2026-06-01T11:50:16Z) - OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。
その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
論文 参考訳(メタデータ) (2025-10-08T03:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。