論文の概要: Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2312.03764v1
• Date: Tue, 5 Dec 2023 19:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:37:07.226250
• Title: Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning
• Title（参考訳）: クロスドメイン強化学習のための類似性に基づく知識伝達
• Authors: Sergio A. Serrano and Jose Martinez-Carranza and L. Enrique Sucar
• Abstract要約: 我々は,エンコーダ・デコーダのセットを用いて,異なる空間に適合する半教師付きアライメント損失を開発する。 従来の手法と比較して、我々の手法は専門家のポリシーによって整列、ペア化、あるいは収集されるデータを必要としない。
• 参考スコア（独自算出の注目度）: 3.3148826359547523
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transferring knowledge in cross-domain reinforcement learning is a challenging setting in which learning is accelerated by reusing knowledge from a task with different observation and/or action space. However, it is often necessary to carefully select the source of knowledge for the receiving end to benefit from the transfer process. In this article, we study how to measure the similarity between cross-domain reinforcement learning tasks to select a source of knowledge that will improve the performance of the learning agent. We developed a semi-supervised alignment loss to match different spaces with a set of encoder-decoders, and use them to measure similarity and transfer policies across tasks. In comparison to prior works, our method does not require data to be aligned, paired or collected by expert policies. Experimental results, on a set of varied Mujoco control tasks, show the robustness of our method in effectively selecting and transferring knowledge, without the supervision of a tailored set of source tasks.
• Abstract（参考訳）: クロスドメイン強化学習における知識の伝達は、異なる観察空間や行動空間を持つタスクから知識を再利用することで学習を加速させる難題である。 しかし、転送プロセスから利益を得るためには、受信側の知識の源を慎重に選択することがしばしば必要となる。 本稿では,クロスドメイン強化学習タスク間の類似度を計測し,学習エージェントの性能を向上させるための知識源を選択する方法について検討する。 我々は,異なる空間とエンコーダ・デコーダのセットをマッチングするために,半教師付きアライメント損失を開発し,タスク間の類似性やポリシーの伝達を計測した。 先行研究と比較して,本手法では,データアライメントやペアリング,あるいは専門家ポリシによる収集を必要としない。 実験の結果,様々なMujoco制御タスクのセットにおいて,ソースタスクの調整を行なわずに,知識を効果的に選択し,伝達する手法の堅牢性を示す。

関連論文リスト

• Learning Modality Knowledge Alignment for Cross-Modality Transfer [9.19049344360835]
  クロスモダリティ転送は、事前訓練されたデータのモダリティに属さないかもしれないタスクを完了するために、大きな事前訓練されたモデルを活用することを目的としている。 既存の研究は古典的な微調整をクロスモーダルなシナリオに拡張することに成功したが、移行に対するモダリティギャップの影響についてはまだ理解されていない。 移動前のモダリティ知識の相違を低減するために、ターゲットデータ変換を学習するメタラーニング手法であるModality kNowledge Alignment(MoNA)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T03:23:47Z)
• Distill Knowledge in Multi-task Reinforcement Learning with Optimal-Transport Regularization [0.24475591916185496]
  マルチタスク強化学習では、他の異なるタスクから知識を伝達することで、トレーニングエージェントのデータ効率を向上させることができる。 伝統的な手法は、あるタスクから他のタスクへの知識の移動を安定化するために、Kulback-Leibler正規化に依存している。 本研究では,Kulback-Leiblerの発散を,新しいトランスポートベース正規化に置き換える方向について検討する。
  論文  参考訳（メタデータ） (2023-09-27T12:06:34Z)
• Introspective Action Advising for Interpretable Transfer Learning [7.673465837624365]
  伝達学習は、目標タスクにおける政策の訓練を加速するために、深層強化学習に適用することができる。 本稿では,教師が目標課題における生徒の探索を積極的に指導する,行動アドバイスに基づく課題間での学習を伝達するための代替手法を提案する。
  論文  参考訳（メタデータ） (2023-06-21T14:53:33Z)
• Learn what matters: cross-domain imitation learning with task-relevant embeddings [77.34726150561087]
  自律エージェントが、異なる環境や異なるエージェントなど、異なる領域のデモンストレーションからタスクを実行することを学習する方法について検討する。 我々は、追加のデモンストレーションやさらなるドメイン知識にアクセスすることなく、クロスドメインの模倣学習を可能にするスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-24T21:56:58Z)
• Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning [0.6445605125467572]
  強化学習における重要な課題は、エージェントが与えられたタスクをマスターするために必要な環境との相互作用の数を減らすことである。 伝達学習は、以前に学習したタスクから知識を再利用することでこの問題に対処することを提案する。 本研究の目的は,モジュール型マルチソーストランスファー学習技術を用いて,これらの課題に対処することである。
  論文  参考訳（メタデータ） (2022-05-28T12:04:52Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
  近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。 本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
  論文  参考訳（メタデータ） (2021-03-08T12:36:42Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
  本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。 シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。 修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T17:59:35Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。