論文の概要: Knowledge Transfer for Cross-Domain Reinforcement Learning: A Systematic Review
- arxiv url: http://arxiv.org/abs/2404.17687v2
- Date: Wed, 20 Nov 2024 19:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-22 15:16:37.593050
- Title: Knowledge Transfer for Cross-Domain Reinforcement Learning: A Systematic Review
- Title（参考訳）: クロスドメイン強化学習のための知識伝達 : 体系的レビュー
- Authors: Sergio A. Serrano, Jose Martinez-Carranza, L. Enrique Sucar,
- Abstract要約: 強化学習(RL)は、複雑な意思決定問題を解決するために、試行錯誤を通じてエージェントを訓練できるフレームワークを提供する。
異なるタスクから知識を再利用することにより、知識伝達手法はRLのトレーニング時間を短縮する代替手段を提供する。
本稿では,異なる領域間で知識を伝達することに焦点を当てた手法の統一分析を行う。
- 参考スコア（独自算出の注目度）: 2.94944680995069
- License:
- Abstract: Reinforcement Learning (RL) provides a framework in which agents can be trained, via trial and error, to solve complex decision-making problems. Learning with little supervision causes RL methods to require large amounts of data, rendering them too expensive for many applications (e.g., robotics). By reusing knowledge from a different task, knowledge transfer methods present an alternative to reduce the training time in RL. Given the severe data scarcity, due to their flexibility, there has been a growing interest in methods capable of transferring knowledge across different domains (i.e., problems with different representations). However, identifying similarities and adapting knowledge across tasks from different domains requires matching their representations or finding domain-invariant features. These processes can be data-demanding, which poses the main challenge in cross-domain knowledge transfer: to select and transform knowledge in a data-efficient way, such that it accelerates learning in the target task, despite the presence of significant differences across problems (e.g., robots with distinct morphologies). Thus, this review presents a unifying analysis of methods focused on transferring knowledge across different domains. Through a taxonomy based on a transfer-approach categorization and a characterization of works based on their data-assumption requirements, the contributions of this article are 1) a comprehensive and systematic revision of knowledge transfer methods for the cross-domain RL setting, 2) a categorization and characterization of such methods to provide an analysis based on relevant features such as their transfer approach and data requirements, and 3) a discussion on the main challenges regarding cross-domain knowledge transfer, as well as on ideas of future directions worth exploring to address these problems.
- Abstract（参考訳）: 強化学習(RL)は、複雑な意思決定問題を解決するために、試行錯誤を通じてエージェントを訓練できるフレームワークを提供する。
ほとんど監督しない学習は、RLメソッドに大量のデータを必要とする原因となり、多くのアプリケーション(例えばロボティクス)では高価すぎる。
異なるタスクから知識を再利用することにより、知識伝達手法はRLにおけるトレーニング時間を短縮する代替手段を提供する。
データの脆弱さを考えると、その柔軟性のため、異なるドメイン間で知識を伝達できる方法(つまり、異なる表現を持つ問題)への関心が高まっている。
しかし、類似性を識別し、異なるドメインからタスクにまたがる知識を適用するには、それらの表現と一致するか、ドメインに不変な特徴を見つける必要がある。
これらのプロセスは、問題(例えば、異なる形態を持つロボットなど)間で大きな違いがあるにもかかわらず、ターゲットタスクでの学習を加速させるように、データ効率のよい方法で知識を選択し、変換するという、ドメイン間の知識伝達において大きな課題となる。
そこで本研究では,異なる領域にまたがる知識の伝達に着目した手法の統一分析を行った。
移譲分類に基づく分類と、それらのデータ消費要件に基づく作品のキャラクタリゼーションを通じて、本項の貢献について述べる。
1)クロスドメインRL設定のための知識伝達方法の包括的で体系的な改訂。
2 当該方法の分類及び特徴付けは、移転アプローチ及びデータ要件等の関連する特徴に基づく分析を提供するものである。
3)ドメイン間の知識伝達に関する主な課題と,これらの課題に対処する価値のある今後の方向性についての考察。
関連論文リスト
- Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。
以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。
IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
論文 参考訳（メタデータ） (2024-11-15T15:18:57Z) - CrowdTransfer: Enabling Crowd Knowledge Transfer in AIoT Community [12.002871068635748]
Crowd Knowledge Transfer(CrowdTransfer)は、エージェントの集団から学んだ事前知識を移行して、トレーニングコストを削減することを目的としている。
集団知性の観点からは, 導出, 共有, 進化, 融合モードの4つの伝達モードを提示する。
人間の活動認識、都市コンピューティング、マルチロボットシステム、スマートファクトリなど、AIoT分野のいくつかの応用について検討する。
論文 参考訳（メタデータ） (2024-07-09T01:20:37Z) - A Recent Survey of Heterogeneous Transfer Learning [15.830786437956144]
異種移動学習は 様々なタスクにおいて 重要な戦略となっている。
データベースとモデルベースの両方のアプローチを網羅した60以上のHTLメソッドの広範なレビューを提供する。
自然言語処理,コンピュータビジョン,マルチモーダル学習,バイオメディシンの応用について検討する。
論文 参考訳（メタデータ） (2023-10-12T16:19:58Z) - Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。
最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
論文 参考訳（メタデータ） (2023-07-28T14:51:09Z) - Graph Enabled Cross-Domain Knowledge Transfer [1.52292571922932]
クロスドメイン・ナレッジ・トランスファー(クロスドメイン・ナレッジ・トランスファー)は、優れた表現学習と関心領域における知識不足のギャップを軽減するためのアプローチである。
機械学習の観点からは、半教師付き学習のパラダイムは、基礎的な真実なしに大量のデータを活用し、目覚ましい学習性能向上を実現する。
論文 参考訳（メタデータ） (2023-04-07T03:02:10Z) - Multi-Source Transfer Learning for Deep Model-Based Reinforcement
Learning [0.6445605125467572]
強化学習における重要な課題は、エージェントが与えられたタスクをマスターするために必要な環境との相互作用の数を減らすことである。
伝達学習は、以前に学習したタスクから知識を再利用することでこの問題に対処することを提案する。
本研究の目的は,モジュール型マルチソーストランスファー学習技術を用いて,これらの課題に対処することである。
論文 参考訳（メタデータ） (2022-05-28T12:04:52Z) - Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。
本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。
我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文 参考訳（メタデータ） (2022-01-15T15:03:17Z) - Knowledge as Invariance -- History and Perspectives of
Knowledge-augmented Machine Learning [69.99522650448213]
機械学習の研究は転換点にある。
研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。
このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
論文 参考訳（メタデータ） (2020-12-21T15:07:19Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳（メタデータ） (2020-08-26T17:23:40Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳（メタデータ） (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。