論文の概要: Ordered Action Tokens for Visuomotor Policy Learning
- arxiv url: http://arxiv.org/abs/2607.21670v1
- Date: Thu, 23 Jul 2026 07:04:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:56.951201
- Title: Ordered Action Tokens for Visuomotor Policy Learning
- Title(参考訳): ビジュモータ政策学習のための命令行動トークン
- Abstract要約: アクショントークン化は、連続したロボットアクションチャンクを離散トークンにマッピングする。
本稿では,高圧縮,全復調性,順序付きトークン空間を満足する,学習されたアクショントークン化ツールであるOrdered Action Tokenization(OAT)を紹介する。
OATは一貫して強力なポリシー性能を提供し、推論時に大幅な柔軟性を提供します。
- 参考スコア(独自算出の注目度): 47.37773778249323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Action tokenization maps continuous robot action chunks to discrete tokens and has become an important interface for modern visuomotor policies. Existing approaches either rely on analytical discretization methods that produce prohibitively long token sequences or learned latent tokenizers that lack structure, limiting their compatibility with downstream policies. In this work, we identify three desiderata for action tokenization - high compression, total decodability, and an ordered token space - and introduce Ordered Action Tokenization (OAT), a learned action tokenizer that satisfies all three. OAT discretizes action chunks into an ordered sequence of tokens using a transformer with registers, finite scalar quantization, and ordering-inducing training mechanisms. By training each token prefix to decode into a valid action chunk, OAT places coarse control information in early tokens and uses later tokens to refine residual detail, yielding an anytime tradeoff between inference cost and action fidelity. We validate OAT in two prevailing uses of action tokens: autoregressive policies that generate tokens for control, and token co-training policies that use token losses to shape the vision-language model context consumed by a flow-based action expert. Across three policy backbones and more than 60 tasks spanning five simulation benchmarks and real-world settings, OAT consistently delivers strong policy performance while offering significantly greater flexibility at inference time.
- Abstract(参考訳): アクショントークン化は、連続ロボットのアクションチャンクを離散トークンにマッピングし、現代のビジュモータポリシーの重要なインターフェースとなっている。
既存のアプローチでは、極端に長いトークンシーケンスを生成する分析的離散化手法や、構造に欠け、下流ポリシーとの互換性を制限している学習的潜在トークン化手法に頼っている。
本研究では,アクショントークン化のための3つのデシラタ(高圧縮,全復調性,順序付きトークン空間)を特定し,これら3つをすべて満足する学習アクショントークン化ツールであるOrdered Action Tokenization(OAT)を紹介する。
OATは、アクションチャンクをレジスタ、有限スカラー量子化、順序付け誘導学習機構を備えたトランスフォーマーを使用して、順序付けられたトークン列に識別する。
各トークンプレフィックスをトレーニングして有効なアクションチャンクにデコードすることで、OATは粗い制御情報を初期トークンに配置し、後続のトークンを使用して詳細を洗練し、推論コストとアクションフィデリティの間にいつでもトレードオフをもたらす。
我々はOATを2つの一般的なアクショントークンの使い方で検証する: 制御のためのトークンを生成する自己回帰ポリシーと、フローベースのアクションエキスパートが消費する視覚言語モデルコンテキストを形成するためにトークン損失を使用するトークンコトレーニングポリシーである。
3つのポリシーバックボーンと5つのシミュレーションベンチマークと実世界の設定にまたがる60以上のタスクに対して、OATは一貫して強力なポリシパフォーマンスを提供し、推論時の柔軟性を大幅に向上させる。
関連論文リスト
- RUTA: Principled Visual Token Allocation via Rate-Utility Optimization [39.416519746709305]
高解像度の画像と長いビデオは、マルチモーダル推論ときめ細かい知覚のためのリッチコンテキストの視覚言語モデルを提供する。
本稿では,トークンが保持するトークンを共同学習することでLLM前還元を行う,原則化された利率-実用トークン割当手法であるRUTAを紹介する。
RUTAは、ダウンストリームタスク損失と期待されるトークン使用量のバランスをとる、ペナルティ化されたレートユーティリティーの目標で最適化されている。
論文 参考訳(メタデータ) (2026-08-04T18:37:26Z) - Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy [64.72195169444738]
ポリシー・グラディエント・メソッドは、各トークンを同じ軌道で扱い、均一なクレジット割り当てにつながる。
このような均一なクレジット割り当てはトークンレベルのトレーニングシグナルをほとんど誤配置していることを示す。
本稿では,トークン再重み付け手法であるActFocusを提案する。
論文 参考訳(メタデータ) (2026-05-14T08:33:02Z) - Bottleneck Tokens for Unified Multimodal Retrieval [16.707536543758344]
マルチモーダル検索のためのデコーダのみのマルチモーダル大言語モデル(MLLM)の適用には、2つの構造的ギャップがある。
まず、既存のメソッドは暗黙のプーリングに依存しており、シーケンスレベルの表現として標準語彙トークンの隠れた状態をオーバーロードする。
第二に、コントラスト的な微調整は、埋め込みが一致すべきものを特定するが、どのように情報を圧縮すべきかについてのトークンレベルのガイダンスは提供しない。
本稿では,Bottleneck Tokens(BToks)を紹介した。これは,固定容量明示的なプール機構として機能する,学習可能なトークンの小さなセットである。
論文 参考訳(メタデータ) (2026-04-13T07:12:12Z) - Drift-Aware Continual Tokenization for Generative Recommendation [44.13013639783267]
生成レコメンデーションは通常、2段階のパイプラインを採用し、学習可能なトークンエーザがアイテムを個別のトークンシーケンスにマップする。
最近のトークン化器は、類似のユーザビヘイビアパターンを持つアイテムが同様のコードを受け取るように、協調的な信号も取り入れている。
新しいアイテムは衝突やシフトを引き起こし、新しいインタラクションは既存のアイテムの協調的なドリフトを引き起こす。
DACT, Drift-Aware Continual Tokenization framework with two stage: tokenizer fine-tuning and item-level drift confidence。
論文 参考訳(メタデータ) (2026-03-31T13:02:47Z) - OAT: Ordered Action Tokenization [44.20363344414952]
自己回帰ポリシーは、離散的な抽象化、トークンレベルの推論、柔軟な推論を可能にすることで、スケーラブルなロボット学習のための魅力的な基盤を提供する。
既存のアプローチは、極端に長いトークン配列を生成する分析的な離散化法や、構造を持たない学習された潜在トークン化器に依存する。
本研究では,アクショントークン化のための3つのデシラタ(高圧縮,全復調性,左から右への因果的に順序付けられたトークン空間)を特定し,オーダードアクショントークン化(OAT)を導入する。
OATはレジスタを持つ変圧器、有限スカラー量子を用いて、アクションチャンクを順序付けられたトークン列に識別する
論文 参考訳(メタデータ) (2026-02-04T05:01:04Z) - Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。
フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。
3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
論文 参考訳(メタデータ) (2025-11-28T15:22:52Z) - BEAST: Efficient Tokenization of B-Splines Encoded Action Sequences for Imitation Learning [24.858548048614878]
B-spline Encoded Action Sequence Tokenizer (BEAST)について述べる。
BEAST は B-splines を用いて、アクションシーケンスをコンパクトな離散トークンまたは連続トークンにエンコードする。
BEASTは166のシミュレーションタスクと8つの実世界のタスクからなる3つの異なるロボット設定からなる3つの確立されたベンチマークで評価した。
論文 参考訳(メタデータ) (2025-06-06T13:26:16Z) - Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される
現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。
自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
論文 参考訳(メタデータ) (2024-12-22T21:56:15Z) - SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。
SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。
様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
論文 参考訳(メタデータ) (2024-05-24T13:35:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。