論文の概要: Context Representation via Action-Free Transformer encoder-decoder for Meta Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.14057v2
• Date: Wed, 17 Dec 2025 07:40:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:40.368996
• Title: Context Representation via Action-Free Transformer encoder-decoder for Meta Reinforcement Learning
• Title（参考訳）: メタ強化学習のための行動自由変換器エンコーダデコーダによる文脈表現
• Authors: Amir M. Soufi Enayati, Homayoun Honari, Homayoun Najjaran,
• Abstract要約: 本稿では,Action Free Transformer encoder decoder (CRAFT)によるコンテキスト表現を提案する。 CRAFTは、状態と報酬のシーケンスのみからタスク表現を推論する。 回転位置埋め込みを備えたトランスフォーマーエンコーダデコーダ上に構築され、長い時間的依存関係をキャプチャし、パラメトリックおよび非適応タスクのバリエーションを堅牢にエンコードする。
• 参考スコア（独自算出の注目度）: 6.927922840261954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) enables robots to operate in uncertain environments, but standard approaches often struggle with poor generalization to unseen tasks. Context-adaptive meta reinforcement learning addresses these limitations by conditioning on the task representation, yet they mostly rely on complete action information in the experience making task inference tightly coupled to a specific policy. This paper introduces Context Representation via Action Free Transformer encoder decoder (CRAFT), a belief model that infers task representations solely from sequences of states and rewards. By removing the dependence on actions, CRAFT decouples task inference from policy optimization, supports modular training, and leverages amortized variational inference for scalable belief updates. Built on a transformer encoder decoder with rotary positional embeddings, the model captures long range temporal dependencies and robustly encodes both parametric and non-parametric task variations. Experiments on the MetaWorld ML-10 robotic manipulation benchmark show that CRAFT achieves faster adaptation, improved generalization, and more effective exploration compared to context adaptive meta--RL baselines. These findings highlight the potential of action-free inference as a foundation for scalable RL in robotic control.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、ロボットが不確実な環境で動作できるようにする。 コンテキスト適応型メタ強化学習は、タスク表現を条件付けすることでこれらの制限に対処するが、主に特定のポリシーと密結合したタスク推論を行う経験において、完全なアクション情報に依存する。 本稿では,Action Free Transformer encoder decoder (CRAFT)によるコンテキスト表現について述べる。 アクションへの依存を取り除くことで、CRAFTはポリシー最適化からタスク推論を分離し、モジュラートレーニングをサポートし、スケーラブルな信条更新に償却された変分推論を活用する。 回転位置埋め込みを備えたトランスフォーマーエンコーダデコーダ上に構築され、長い時間的依存関係をキャプチャし、パラメトリックタスクと非パラメトリックタスクの両方を堅牢にエンコードする。 MetaWorld ML-10ロボット操作ベンチマークの実験では、CRAFTは文脈適応型メタ-RLベースラインよりも高速な適応、一般化の改善、より効率的な探索を実現している。 これらの結果は、ロボット制御におけるスケーラブルなRLの基礎として、アクションフリー推論の可能性を強調している。

関連論文リスト

• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning [1.8791091507292152]
  Heuristic Transformer (HT) はコンテキスト内強化学習アプローチであり、より優れた意思決定を実現するために、報酬に対する信念分布でコンテキスト内データセットを増強する。 HTは、有効性と一般化の両方の観点から、同等のベースラインを一貫して超越していることが示される。 提案手法は,信念に基づく拡張とトランスフォーマーに基づく意思決定のギャップを埋める,有望な方向を示す。
  論文  参考訳（メタデータ） (2025-11-13T12:32:36Z)
• Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
  本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。 Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。 Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
  論文  参考訳（メタデータ） (2025-03-25T15:19:56Z)
• Diffusion Transformer Policy [48.50988753948537]
  本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。 トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
  論文  参考訳（メタデータ） (2024-10-21T12:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。