Fugu-MT 論文翻訳(概要): eRLT: Efficient VLA Reinforcement Learning via Action-Relevant Token Routing

論文の概要: eRLT: Efficient VLA Reinforcement Learning via Action-Relevant Token Routing

arxiv url: http://arxiv.org/abs/2610.00913v1
Date: Thu, 01 Oct 2026 01:43:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:23.843854
Title: eRLT: Efficient VLA Reinforcement Learning via Action-Relevant Token Routing
Title（参考訳）: eRLT:アクション関連トークンルーティングによる効率的なVLA強化学習
Abstract要約: 本稿では,タスク固有のアクション関連情報をルーティングすることで,効率的な状態表現を構築するeRLTを紹介する。 eRLTは平均正規化学習曲線AUCを代表ベースラインよりも最大23.7%改善する。 USBコネクタの挿入とマザーボードのリボンケーブルの挿入に関する実際のロボット実験は、それぞれ108.9%と46.7%のAUCの改善を示している。
参考スコア（独自算出の注目度）: 12.503171740549552
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision-Language-Action (VLA) models provide strong behavioral priors for robotic manipulation, yet efficiently adapting them to downstream tasks remains challenging. Recent work addresses this challenge by adapting frozen VLAs through online reinforcement learning (RL), whose sample efficiency depends on the quality of the state representation used by the actor and critic. Existing methods construct such representations either with VLA-independent visual encoders or through fixed compression of internal VLA representations. Neither design explicitly extracts the task-specific action-relevant VLA features most useful for downstream action refinement and action-value estimation, therefore limiting sample efficiency. To address this limitation, we introduce eRLT, which constructs an effective state representation by routing task-specific action-relevant information across both tokens and layers of the frozen VLA. Specifically, learned routing tokens dynamically aggregate visual-language features at multiple depths, while a lightweight layer router combines these summaries into a fixed-dimensional RL token. The routing module is initialized using expert demonstrations to capture features predictive of expert actions and then refined using critic feedback from online interactions for action-value estimation. Across seven LIBERO and RoboTwin tasks, eRLT improves mean normalized learning-curve AUC by up to 23.7% over representative baselines. Real-robot experiments on USB connector insertion and motherboard ribbon-cable insertion further show AUC improvements of 108.9% and 46.7%, respectively, over the strongest baseline.
Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、ロボット操作に強力な振る舞いの先駆けを提供するが、下流のタスクに効率的に適応することは依然として困難である。最近の研究は、オンライン強化学習(RL)を通じて凍結したVLAを適応させることによってこの問題に対処している。既存の方法は、VLA非依存のビジュアルエンコーダまたは内部VLA表現の固定圧縮によって、そのような表現を構成する。どちらの設計も、ダウンストリームのアクションリファインメントやアクション値推定に最も有用なタスク固有のアクション関連VLA機能を明示的に抽出しないため、サンプル効率が制限される。この制限に対処するため,凍結したVLAのトークンと層にタスク固有のアクション関連情報をルーティングすることで,効率的な状態表現を構築するeRLTを導入する。具体的には、学習したルーティングトークンが複数の深さで視覚言語の特徴を動的に集約し、軽量層ルータがこれらの要約を固定次元RLトークンに結合する。ルーティングモジュールはエキスパートのデモを使って初期化され、専門家のアクションを予測する機能をキャプチャし、オンラインインタラクションからの批判的フィードバックを使ってアクション値の推定を行う。 7つのLIBEROタスクとRoboTwinタスクで、eRLTは平均正規化学習曲線AUCを23.7%改善する。 USBコネクタの挿入とマザーボードのリボンケーブルの挿入に関する実際のロボット実験では、最強のベースラインに対してそれぞれ108.9%と46.7%のAUCの改善が見られた。

関連論文リスト

Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。現在の制限は、高速かつ正確な操作において直接の使用を妨げる。探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
論文参考訳（メタデータ） (2026-04-15T11:17:54Z)
ActionCodec: What Makes for Good Action Tokenizers [106.78093973045526]
VLA(Vision-Language-Action)モデルでは、より優れた命令追従と訓練効率が示されている。このパラダイムの中心はアクショントークン化であるが、その設計は主に再構築の忠実さに焦点を当てている。我々は、トレーニング効率とVLA性能の両方を大幅に向上させる高性能なアクショントークンであるtextbfActionCodecを紹介する。
論文参考訳（メタデータ） (2026-02-17T07:07:15Z)
Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文参考訳（メタデータ） (2025-12-02T14:42:54Z)
VLA-Pruner: Temporal-Aware Dual-Level Visual Token Pruning for Efficient Vision-Language-Action Inference [17.901428758295307]
VLA(Vision-Language-Action)モデルでは、AIの具現化に大きな期待が寄せられているが、計算コストによってリアルタイムのデプロイメントが制限されている。本稿では,VLAモデルのデュアルシステム特性に適合する汎用的なプラグ・アンド・プレイ型VLA固有のトークンプルー法であるVLA-Prunerを提案する。 VLA-Prunerは、複数のVLAアーキテクチャと多様なロボットタスクにわたる最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-11-20T15:16:09Z)
DEAS: DEtached value learning with Action Sequence for Scalable Offline RL [46.40818333031899]
Action Sequence(DEAS)は、アクションシーケンスをバリュー学習に活用する、シンプルだが効果的なオフラインRLフレームワークである。 DEASはOGBenchの複雑な長期タスクのベースラインを一貫して上回る。大規模ビジョン・ランゲージ・アクションモデルの性能向上に応用できる。
論文参考訳（メタデータ） (2025-10-09T03:11:09Z)
SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文参考訳（メタデータ） (2025-06-15T05:04:17Z)
Think Twice, Act Once: Token-Aware Compression and Action Reuse for Efficient Inference in Vision-Language-Action Models [30.7855782696894]
VLA(Vision-Language-Action)モデルは、自然言語による汎用ロボット制御の強力なパラダイムとして登場した。 VLAモデルにおけるアクション再利用を可能にする最初のトレーニングフリーかつプラグアンドプレイアクセラレーションフレームワークであるFlashVLAを提案する。
論文参考訳（メタデータ） (2025-05-27T13:47:18Z)
VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning [14.099306230721245]
VLA-RLは、オンライン収集データをテスト時に改善する探索ベースのフレームワークである。自動抽出タスクセグメントにアノテートされた擬似報酬ラベルに基づいてトレーニングされたロボットプロセス報酬モデルとして、事前学習された視覚言語モデルを微調整する。 VLA-RLにより、OpenVLA-7BはLIBEROの40の挑戦的なロボット操作タスクにおいて、最強の微調整ベースラインを4.5%超えることができる。
論文参考訳（メタデータ） (2025-05-24T14:42:51Z)
TACO: Temporal Latent Action-Driven Contrastive Loss for Visual Reinforcement Learning [73.53576440536682]
時間的行動駆動型コントラスト学習(TACO: Temporal Action-driven Contrastive Learning)は、時間的コントラスト学習の強力なアプローチである。 TACOは、現在の状態の表現間の相互情報を最適化することにより、状態と行動表現を同時に学習する。オンラインRLでは、TACOは100万の環境インタラクションステップの後、40%のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2023-06-22T22:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。