論文の概要: ACT-JEPA: Joint-Embedding Predictive Architecture Improves Policy Representation Learning

• arxiv url: http://arxiv.org/abs/2501.14622v2
• Date: Mon, 27 Jan 2025 16:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:54.940350
• Title: ACT-JEPA: Joint-Embedding Predictive Architecture Improves Policy Representation Learning
• Title（参考訳）: ACT-JEPA: 統合型予測アーキテクチャは政策表現学習を改善する
• Authors: Aleksandar Vujinovic, Aleksandar Kovacevic,
• Abstract要約: ACT-JEPAは模倣学習と自己教師型学習を統合する新しいアーキテクチャである。 我々はアクションシーケンスと抽象的な観察シーケンスを予測するポリシーを訓練する。 実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。
• 参考スコア（独自算出の注目度）: 90.41852663775086
• License:
• Abstract: Learning efficient representations for decision-making policies is a challenge in imitation learning (IL). Current IL methods require expert demonstrations, which are expensive to collect. Consequently, they often have underdeveloped world models. Self-supervised learning (SSL) offers an alternative by allowing models to learn from diverse, unlabeled data, including failures. However, SSL methods often operate in raw input space, making them inefficient. In this work, we propose ACT-JEPA, a novel architecture that integrates IL and SSL to enhance policy representations. We train a policy to predict (1) action sequences and (2) abstract observation sequences. The first objective uses action chunking to improve action prediction and reduce compounding errors. The second objective extends this idea of chunking by predicting abstract observation sequences. We utilize Joint-Embedding Predictive Architecture to predict in abstract representation space, allowing the model to filter out irrelevant details, improve efficiency, and develop a robust world model. Our experiments show that ACT-JEPA improves the quality of representations by learning temporal environment dynamics. Additionally, the model's ability to predict abstract observation sequences results in representations that effectively generalize to action sequence prediction. ACT-JEPA performs on par with established baselines across a range of decision-making tasks.
• Abstract（参考訳）: 意思決定方針の効率的な表現を学習することは模倣学習(IL)の課題である。 現在のILメソッドでは、専門家によるデモが必要で、収集に費用がかかる。 そのため、開発が遅れた世界モデルがしばしば存在する。 自己教師付き学習(SSL)は、モデルが障害を含むさまざまなラベルのないデータから学習できるようにすることで、代替手段を提供する。 しかし、SSLメソッドは生の入力空間で動作し、非効率であることが多い。 本研究では,ポリシー表現を強化するために,ILとSSLを統合した新しいアーキテクチャであるACT-JEPAを提案する。 我々は(1)アクションシーケンスと(2)抽象的な観察シーケンスを予測するポリシーを訓練する。 最初の目標はアクションチャンキングを使用して、アクション予測を改善し、複合エラーを低減する。 第二の目的は、抽象的な観察シーケンスを予測することによってチャンキングというこの考え方を拡張することである。 我々は,統合埋め込み予測アーキテクチャを用いて抽象表現空間の予測を行い,無関係な詳細をフィルタリングし,効率を向上し,堅牢な世界モデルを構築する。 実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。 さらに、抽象的な観測シーケンスを予測するモデルの能力は、アクションシーケンス予測に効果的に一般化する表現をもたらす。 ACT-JEPAは、さまざまな意思決定タスクで確立されたベースラインと同等に機能する。

関連論文リスト

• USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation [24.90512145836643]
  本稿では,特徴デコレーションに基づく統一骨格に基づくDense Representation Learningフレームワークを提案する。 我々のアプローチは現在のSOTA(State-of-the-art)アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-12T12:20:27Z)
• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Efficient Exploration and Discriminative World Model Learning with an Object-Centric Abstraction [19.59151245929067]
  エージェントにオブジェクト中心のマッピング(アイテムとその属性のセットを記述する)を与えることで、より効率的な学習が可能になるかどうかを検討する。 この問題は、ピクセルへの高レベルの状態抽象化でアイテムをモデル化し、プリミティブアクションへの高レベルの時間抽象化で属性を変更することで、階層的に最もよく解決されている。 我々は,識別的世界モデルを学ぶ完全モデルに基づくアルゴリズムを提案し,数に基づく本質的な報酬のみを用いて効率的に探索し,その後に発見された(抽象的な)状態に到達する計画を立てる。
  論文  参考訳（メタデータ） (2024-08-21T17:59:31Z)
• SPO: Sequential Monte Carlo Policy Optimisation [41.52684912140086]
  SPO:Sequential Monte Carlo Policy optimizationを紹介する。 我々は,SPOがロバストな政策改善と効率的なスケーリング特性を提供することを示した。 モデルフリーおよびモデルベースラインと比較して,統計的に有意な性能向上を示す。
  論文  参考訳（メタデータ） (2024-02-12T10:32:47Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Data Assimilation in Chaotic Systems Using Deep Reinforcement Learning [0.5999777817331317]
  データ同化は、気候予報や天気予報から自動運転車の軌道計画まで、様々な応用において重要な役割を果たしている。 近年の進歩は、主に教師付き学習フレームワーク内で、この領域でディープラーニングアプローチが出現している。 本研究では、強化学習(RL)を用いて状態変数の完全あるいは部分的観測を用いて状態修正を行う新しいDA戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-01T06:53:36Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。