Fugu-MT 論文翻訳(概要): Efficient Reinforcement Learning Through Adaptively Pretrained Visual Encoder

論文の概要: Efficient Reinforcement Learning Through Adaptively Pretrained Visual Encoder

arxiv url: http://arxiv.org/abs/2502.05555v1
Date: Sat, 08 Feb 2025 12:57:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-11 14:32:12.453436
Title: Efficient Reinforcement Learning Through Adaptively Pretrained Visual Encoder
Title（参考訳）: 適応事前学習型視覚エンコーダによる効率的な強化学習
Authors: Yuhan Zhang, Guoqing Ma, Guangfu Hao, Liangxuan Guo, Yang Chen, Shan Yu,
Abstract要約: APE:適応事前学習による効率的な強化学習を提案する。 APEは、事前学習期間中に適応的な拡張戦略を使用し、政策学習期間中にタスク環境内でほんのわずかの相互作用しか持たない一般化可能な特徴を抽出する。その結果、DreamerV3やDrQ-v2といった主流のRL法は、APEを装着すると最先端の性能が得られることがわかった。
参考スコア（独自算出の注目度）: 12.310140622800372
License:
Abstract: While Reinforcement Learning (RL) agents can successfully learn to handle complex tasks, effectively generalizing acquired skills to unfamiliar settings remains a challenge. One of the reasons behind this is the visual encoders used are task-dependent, preventing effective feature extraction in different settings. To address this issue, recent studies have tried to pretrain encoders with diverse visual inputs in order to improve their performance. However, they rely on existing pretrained encoders without further exploring the impact of pretraining period. In this work, we propose APE: efficient reinforcement learning through Adaptively Pretrained visual Encoder -- a framework that utilizes adaptive augmentation strategy during the pretraining phase and extracts generalizable features with only a few interactions within the task environments in the policy learning period. Experiments are conducted across various domains, including DeepMind Control Suite, Atari Games and Memory Maze benchmarks, to verify the effectiveness of our method. Results show that mainstream RL methods, such as DreamerV3 and DrQ-v2, achieve state-of-the-art performance when equipped with APE. In addition, APE significantly improves the sampling efficiency using only visual inputs during learning, approaching the efficiency of state-based method in several control tasks. These findings demonstrate the potential of adaptive pretraining of encoder in enhancing the generalization ability and efficiency of visual RL algorithms.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)エージェントは複雑なタスクの処理をうまく学べるが、習得したスキルを非慣れな設定に効果的に一般化することは依然として困難である。この原因の1つは、視覚的エンコーダがタスク依存であり、異なる設定で効果的な特徴抽出を防止するためである。この問題に対処するために、近年の研究では、様々な視覚的入力を持つエンコーダを事前訓練し、性能を向上しようと試みている。しかし、既存の事前訓練エンコーダを頼りにしており、事前訓練期間の影響をさらに探ることはできない。本研究では,適応的事前学習型視覚エンコーダによる効率的な強化学習を提案する。このフレームワークは,事前学習期間中に適応的拡張戦略を利用して,政策学習期間中のタスク環境内でのみのインタラクションで一般化可能な特徴を抽出する。提案手法の有効性を検証するため,DeepMind Control Suite,Atari Games,Memory Mazeベンチマークなど,さまざまな領域で実験を行った。その結果、DreamerV3やDrQ-v2といった主流のRL法は、APEを装着すると最先端の性能が得られることがわかった。さらに、APEは、学習中の視覚入力のみを使用してサンプリング効率を大幅に改善し、複数の制御タスクにおける状態ベース手法の効率にアプローチする。これらの結果から,エンコーダの適応事前学習が視覚的RLアルゴリズムの一般化能力と効率を向上させる可能性が示唆された。

関連論文リスト

Continual Learning in the Frequency Domain [22.415936450558334]
周波数領域における連続学習(CLFD)と呼ばれる新しいフレームワークを提案する。特徴抽出器の入力特徴について、CLFDはウェーブレット変換を用いて元の入力画像を周波数領域にマッピングする。クラウド環境とエッジ環境の両方で実施された実験により、CLFDは精度とトレーニング効率の両方において、最先端(SOTA)手法の性能を一貫して改善することが示された。
論文参考訳（メタデータ） (2024-10-09T07:57:47Z)
Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文参考訳（メタデータ） (2024-08-21T06:48:38Z)
Dyn-Adapter: Towards Disentangled Representation for Efficient Visual Recognition [22.615830919860777]
本稿では動的アダプタ(Dyn-Adapter)という,効率的な視覚認識パラダイムを提案する。適応的なトレーニング戦略とともに,複数レベルの特徴抽出のための早期のバランスの取れた動的アーキテクチャを考案する。予測中のFLOPを50%削減し,高い認識精度を維持した。
論文参考訳（メタデータ） (2024-07-19T13:33:38Z)
Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
論文参考訳（メタデータ） (2024-05-29T15:44:51Z)
Premier-TACO is a Few-Shot Policy Learner: Pretraining Multitask Representation via Temporal Action-Driven Contrastive Loss [61.355272240758]
Premier-TACOはマルチタスクの特徴表現学習手法である。シーケンシャルな意思決定タスクにおいて、数ショットのポリシー学習効率を改善するように設計されている。
論文参考訳（メタデータ） (2024-02-09T05:04:40Z)
Value Explicit Pretraining for Learning Transferable Representations [11.069853883599102]
本稿では,伝達強化学習のための一般化可能な表現を学習する手法を提案する。我々は、目的条件付き表現のためのエンコーダを学習することで、前回学習したタスクと同様の目的を共有する新しいタスクを学ぶ。現実的なナビゲーションシミュレータとAtariベンチマークを用いて実験したところ,本手法により生成された事前学習エンコーダは,現在のSoTA事前学習法より優れていることがわかった。
論文参考訳（メタデータ） (2023-12-19T17:12:35Z)
PerceptionGPT: Effectively Fusing Visual Perception into LLM [31.34127196055722]
視覚入力と大言語モデル(LLM)の統合は、多モーダル機能において顕著な進歩をもたらし、視覚的大言語モデル(VLLM)がもたらされた。本稿では,視覚的知覚能力を持つVLLMを効率よく装備するPerceptionGPTという新しいエンドツーエンドフレームワークを提案する。本手法は,視覚出力を離散トークンとして定式化する従来の手法によるトレーニングの難しさを著しく軽減する。
論文参考訳（メタデータ） (2023-11-11T16:59:20Z)
ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-16T21:51:04Z)
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文参考訳（メタデータ） (2022-08-09T17:29:49Z)
Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文参考訳（メタデータ） (2022-03-25T19:44:09Z)
On Efficient Transformer and Image Pre-training for Low-level Vision [74.22436001426517]
プレトレーニングは、ハイレベルコンピュータビジョンにおける多くの最先端の芸術である。画像事前学習の詳細な研究について述べる。低レベルのタスクでは,事前トレーニングが極めて異なる役割を担っています。
論文参考訳（メタデータ） (2021-12-19T15:50:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。