論文の概要: AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2107.02729v1
• Date: Tue, 6 Jul 2021 16:56:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 17:15:22.086134
• Title: AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning
• Title（参考訳）: adarl: 転校強化学習にどのように適応するか、どこで、どのように適応するか
• Authors: Biwei Huang, Fan Feng, Chaochao Lu, Sara Magliacane, Kun Zhang
• Abstract要約: 我々はAdaRLと呼ばれる適応RLの原理的フレームワークを提案し、ドメイン間の変化に確実に適応する。 AdaRLは、ターゲットドメインでさらなるポリシー最適化を行うことなく、少数のサンプルでポリシーを適応できることを示す。 本稿では,AdaRLがCartpole と Atari の異なるコンポーネントに変化をもたらすための一連の実験を通じて有効性を示す。
• 参考スコア（独自算出の注目度）: 18.269412736181852
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Most approaches in reinforcement learning (RL) are data-hungry and specific to fixed environments. In this paper, we propose a principled framework for adaptive RL, called AdaRL, that adapts reliably to changes across domains. Specifically, we construct a generative environment model for the structural relationships among variables in the system and embed the changes in a compact way, which provides a clear and interpretable picture for locating what and where the changes are and how to adapt. Based on the environment model, we characterize a minimal set of representations, including both domain-specific factors and domain-shared state representations, that suffice for reliable and low-cost transfer. Moreover, we show that by explicitly leveraging a compact representation to encode changes, we can adapt the policy with only a few samples without further policy optimization in the target domain. We illustrate the efficacy of AdaRL through a series of experiments that allow for changes in different components of Cartpole and Atari games.
• Abstract（参考訳）: 強化学習(RL)におけるほとんどのアプローチは、データハングリーであり、固定環境に特有のものである。 本稿では,AdaRLと呼ばれる適応RLの原理的フレームワークを提案する。 具体的には、システム内の変数間の構造的関係に関する生成環境モデルを構築し、その変更をコンパクトな方法で埋め込むことにより、変更がどこにあり、どのように適応するかを特定するための明確で解釈可能な図を提供する。 環境モデルに基づいて、ドメイン固有因子とドメイン共有状態表現の両方を含む最小限の表現を特徴付け、信頼性と低コストの転送に十分である。 さらに,変化をエンコードするためにコンパクト表現を明示的に活用することにより,ターゲット領域のさらなるポリシー最適化を行なわずに,少数のサンプルでポリシーを適応できることを示す。 本稿では,AdaRLがCartpole と Atari の異なるコンポーネントに変化を与える一連の実験を通じて有効性を示す。

関連論文リスト

• Towards Generalizable Reinforcement Learning via Causality-Guided Self-Adaptive Representations [22.6449779859417]
  汎用インテリジェンスには、タスク間の迅速な適応が必要です。 本稿では,分布だけでなく,環境空間も変化するシナリオを幅広く検討する。 我々はCSRと呼ばれる因果性誘導型自己適応表現に基づく手法を導入し、エージェントを効果的に一般化させる。
  論文  参考訳（メタデータ） (2024-07-30T08:48:49Z)
• DynaGAN: Dynamic Few-shot Adaptation of GANs to Multiple Domains [26.95350186287616]
  複数のドメインへのドメイン適応は、いくつかのトレーニングイメージから複数のドメインにまたがる複雑なイメージ分布を学習することを目的としている。 複数のターゲットドメインに対する新規な数ショットドメイン適応法であるDynaGANを提案する。
  論文  参考訳（メタデータ） (2022-11-26T12:46:40Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• From Big to Small: Adaptive Learning to Partial-Set Domains [94.92635970450578]
  ドメイン適応は、分布シフト中のラベル付きソースドメインからラベルなしターゲットドメインへの知識獲得と普及を目標とする。 近年の進歩は、大規模の深層学習モデルにより、小規模の下流の多様な課題に取り組むための豊富な知識が得られていることを示している。 本稿では,学習パラダイムである部分領域適応(Partial Domain Adaptation, PDA)を紹介する。
  論文  参考訳（メタデータ） (2022-03-14T07:02:45Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Instance Weighted Incremental Evolution Strategies for Reinforcement Learning in Dynamic Environments [11.076005074172516]
  本研究では,動的環境における進化戦略(ES)の体系的漸進学習手法を提案する。 目標は、環境が変わるたびに、学習済みのポリシーを新しいポリシーに漸進的に調整することだ。 本稿では、動的環境への高速な学習適応を実現するため、RLドメインのためのスケーラブルなESアルゴリズムのファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-10-09T14:31:44Z)
• Group Equivariant Deep Reinforcement Learning [4.997686360064921]
  我々は、RLエージェントの訓練に同変CNNを用い、変換同変Q値近似のための誘導バイアスについて検討する。 我々は,RLエージェントの性能と試料効率を高対称な環境下で劇的に向上させることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T02:38:48Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)
• Domain Adaptation as a Problem of Inference on Graphical Models [46.68286696120191]
  共同分布がドメイン間でどのように変化するかは、事前には分かっていない。 本稿では,共同分布の変化特性を符号化するコンパクトな方法として,グラフィカルモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-09T04:08:15Z)
• Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
  個人再識別のための教師なし領域適応手法を提案する。 実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-01-14T17:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。