論文の概要: NAC: Neural Action Codec for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2606.21372v1
- Date: Fri, 19 Jun 2026 12:24:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 13:56:13.873499
- Title: NAC: Neural Action Codec for Vision-Language-Action Models
- Title（参考訳）: NAC:視覚・言語・行動モデルのためのニューラルアクションコーデック
- Authors: Ahad Jawaid, Yu Xiang,
- Abstract要約: 視覚言語アクション(VLA)モデルは、連続ロボット制御と自己回帰シーケンスモデリングを橋渡しするために、離散的なアクショントークン化器に依存している。
我々は,短距離ロボット行動軌跡をマルチチャネル1D信号として扱い,マルチスケールのRVQGANアーキテクチャを用いてそれらを圧縮するNeural Action Codec(NAC)を紹介する。
NACは、バイナリ、FAST、および以前のVQベースのトークン化器よりも、同等またはより優れた圧縮レートで、再構築エラーと高い成功率を達成する。
- 参考スコア（独自算出の注目度）: 2.8241645653117042
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models rely on discrete action tokenizers to bridge continuous robot control and autoregressive sequence modeling, yet existing tokenizers often trade off between compression, latency, and downstream performance. We revisit this design through the lens of neural audio codecs-convolutional encoder-decoder architectures with residual vector quantization that serve as the standard front end for audio foundation models. Motivated by their success, we introduce the Neural Action Codec (NAC), which treats short robot action trajectories as multi-channel 1D signals and compresses them using a multi-scale RVQGAN architecture. We observe that audio-specific mel-spectrogram objectives are ill-suited for kinematic signals; however, by replacing them with simple time-domain and non-mel spectral reconstruction losses, audio-codec-style models can autoencode actions with high fidelity without substantial architectural changes. NAC provides a compact, ordered token space via offset codebooks, enabling standard autoregressive policies to operate over short, structured sequences. Meanwhile, a Vocos-style decoder with an ISTFT head and adversarial discriminators recovers smooth, detailed trajectories. Across LIBERO-10, RoboMimic, and a suite of real-world manipulation tasks, NAC achieves lower reconstruction error and higher success rates than binning, FAST, and prior VQ-based tokenizers at comparable or better compression rates. These results demonstrate that repurposed neural audio codecs offer a strong, practical backbone for learned action tokenization in modern VLAs.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、連続ロボット制御と自己回帰シーケンスモデリングをブリッジするために、離散的なアクショントークン化器に依存しているが、既存のトークン化器は、圧縮、レイテンシ、下流のパフォーマンスをトレードオフすることが多い。
我々は、この設計を、ニューラルオーディオコーデック-畳み込みエンコーダ-デコーダアーキテクチャのレンズを通して再検討し、残差ベクトル量子化により、オーディオ基礎モデルの標準フロントエンドとして機能する。
短絡動作軌跡をマルチチャネル1D信号として扱うニューラルアクションコーデック(NAC)を導入し,マルチスケールのRVQGANアーキテクチャを用いて圧縮する。
音声固有のメル-スペクトログラムの目的はキネマティックな信号には適さないが、簡単な時間領域と非メルスペクトル再構成の損失に置き換えることで、オーディオコーデックスタイルのモデルは、相当なアーキテクチャ上の変化を伴わずに、アクションを高い忠実度で自動符号化することができる。
NACは、オフセットのコードブックを介して、コンパクトで順序付けられたトークン空間を提供し、標準の自己回帰ポリシーを短く構造化されたシーケンスで操作できるようにする。
一方、ISTFTヘッドと敵判別器を備えたVocosスタイルのデコーダは、スムーズで詳細な軌跡を復元する。
LIBERO-10、RoboMimic、および実世界の操作タスクのスイートを通して、NACは、ビンニング、FAST、および以前のVQベースのトークン化器よりも、同等またはより優れた圧縮レートで、より低い再構成エラーとより高い成功率を達成する。
これらの結果は、現代のVLAにおいて学習されたアクショントークン化のために、ニューラルネットワークコーデックが強力で実用的なバックボーンを提供することを示す。
関連論文リスト
- Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment [15.70133983324942]
自己誘導は、量子化トークンと元の連続埋め込みの両方を処理する際にデコーダの内部特徴多様体を整列するために使用される。
これにより、最小限のトレーニングオーバーヘッドと推論時の変更が不要になる。
XCodec2に適用されたセルフガイダンスは、すべての再構築メトリクスを改善し、最先端の低ビットレートパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-06-11T06:06:02Z) - ProGVC: Progressive-based Generative Video Compression via Auto-Regressive Context Modeling [10.843021248963305]
本稿では,プログレッシブ・トランスミッション,効率的なエントロピー・コーディング,ディテール・シンセサイザーを統一したプログレッシブ・ベース・ジェネレーティブ・ビデオ圧縮フレームワークを提案する。
ProGVCは、ビデオを階層的なマルチスケールの残留トークンマップにエンコードし、粗いサブセットをプログレッシブな方法で送信することで、フレキシブルなレート適応を可能にする。
論文 参考訳（メタデータ） (2026-03-18T09:51:39Z) - VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。
デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。
VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
論文 参考訳（メタデータ） (2025-11-28T17:26:34Z) - OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。
その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
論文 参考訳（メタデータ） (2025-10-08T03:55:24Z) - Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding [0.0]
本稿では, 複雑な残差ベクトル量子化スタックの必要性に対して, より単純な単一段階量子化アプローチを導入することにより, ニューラルスピーチを提案する。
本手法は,メル・スペクトログラムを直接操作し,それを2次元データとして扱い,重複しない4x4パッチを1つの共有コードブックに定量化する。
このパッチワイズ設計はアーキテクチャを単純化し、低レイテンシのストリーミングを可能にし、離散遅延グリッドを生成する。
論文 参考訳（メタデータ） (2025-09-02T12:14:41Z) - MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation [19.998635838159217]
MagiCodecは、トランスフォーマーベースの新しいシングルレイヤー・ストリーミングオーディオである。
周波数領域におけるノイズ注入の効果を解析的に導出し,その有効性を示す。
MagiCodecは、再構築品質と下流タスクの両方において最先端のコーデックを上回っていることを示す。
論文 参考訳（メタデータ） (2025-05-31T04:31:02Z) - L3AC: Towards a Lightweight and Lossless Audio Codec [10.903708510237875]
我々は、単一量子化器と高効率アーキテクチャを活用することで課題に対処する軽量なニューラルオーディオであるL3ACを紹介する。
L3ACは、複数の時間スケールにわたる音響変化を捉えるように設計された新しい構造であるTConvとともに、合理化された畳み込みネットワークとローカルトランスフォーマーモジュールを探索する。
論文 参考訳（メタデータ） (2025-04-07T11:34:39Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - High Fidelity Neural Audio Compression [92.4812002532009]
我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。
単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
論文 参考訳（メタデータ） (2022-10-24T17:52:02Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z) - An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond
Feature and Signal [99.49099501559652]
Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。
我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。
予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
論文 参考訳（メタデータ） (2020-01-09T14:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。