論文の概要: Quantization-Free Autoregressive Action Transformer
- arxiv url: http://arxiv.org/abs/2503.14259v1
- Date: Tue, 18 Mar 2025 13:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:14:17.722777
- Title: Quantization-Free Autoregressive Action Transformer
- Title（参考訳）: 量子化フリー自己回帰動作変換器
- Authors: Ziyad Sheebaelhamd, Michael Tschannen, Michael Muehlebach, Claire Vernade,
- Abstract要約: 現在のトランスフォーマーに基づく模倣学習アプローチは、離散的なアクション表現を導入し、結果として生じる潜在コードに対して自己回帰型トランスフォーマーデコーダを訓練する。
本稿では,自動回帰変換器の直接的かつ連続的なポリシパラメトリゼーションとして生成無限語彙変換器(GIVT)を利用する量子化フリー手法を提案する。
- 参考スコア（独自算出の注目度）: 18.499864366974613
- License:
- Abstract: Current transformer-based imitation learning approaches introduce discrete action representations and train an autoregressive transformer decoder on the resulting latent code. However, the initial quantization breaks the continuous structure of the action space thereby limiting the capabilities of the generative model. We propose a quantization-free method instead that leverages Generative Infinite-Vocabulary Transformers (GIVT) as a direct, continuous policy parametrization for autoregressive transformers. This simplifies the imitation learning pipeline while achieving state-of-the-art performance on a variety of popular simulated robotics tasks. We enhance our policy roll-outs by carefully studying sampling algorithms, further improving the results.
- Abstract（参考訳）: 現在のトランスフォーマーに基づく模倣学習アプローチは、離散的なアクション表現を導入し、結果として生じる潜在コードに対して自己回帰型トランスフォーマーデコーダを訓練する。
しかし、初期量子化は作用空間の連続構造を破り、生成モデルの能力を制限する。
本稿では,自動回帰変換器の直接的かつ連続的なポリシパラメトリゼーションとして生成無限語彙変換器(GIVT)を利用する量子化フリー手法を提案する。
これにより、さまざまな人気のあるシミュレートされたロボティクスタスクで最先端のパフォーマンスを達成しつつ、模倣学習パイプラインを単純化する。
我々は、サンプリングアルゴリズムを慎重に研究し、その結果をさらに改善することで、ポリシーのロールアウトを強化する。
関連論文リスト
- OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization [1.7180235064112577]
制御方程式が変圧器ブロックによってパラメータ化される力学系を考える。
最適輸送理論を利用してトレーニング問題を正規化し、トレーニングの安定性を高め、結果として得られるモデルの一般化を改善する。
論文 参考訳（メタデータ） (2025-01-30T22:52:40Z) - FAST: Efficient Action Tokenization for Vision-Language-Action Models [98.15494168962563]
離散コサイン変換に基づくロボット動作のための圧縮に基づく新しいトークン化手法を提案する。
FASTをベースとしたFAST+は,100万個のリアルロボットアクショントラジェクトリに基づいて訓練されたユニバーサルロボットアクショントークンである。
論文 参考訳（メタデータ） (2025-01-16T18:57:04Z) - Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [56.424032454461695]
本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。
Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。
Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
論文 参考訳（メタデータ） (2024-10-21T12:43:54Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。
提案手法を拡張・結合する新しい手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-02-01T19:47:31Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Recurrent Transformer Variational Autoencoders for Multi-Action Motion
Synthesis [17.15415641710113]
任意の長さの多動作人間の動作列を合成する問題を考察する。
既存のアプローチでは、単一のアクションシナリオでモーションシーケンス生成をマスターしているが、多アクションおよび任意の長さのシーケンスに一般化できない。
本稿では,リカレントトランスの豊かさと条件付き変分オートエンコーダの生成豊かさを活用する,新しい効率的な手法を提案する。
論文 参考訳（メタデータ） (2022-06-14T10:40:16Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。