論文の概要: Foundations for Transfer in Reinforcement Learning: A Taxonomy of
Knowledge Modalities
- arxiv url: http://arxiv.org/abs/2312.01939v1
- Date: Mon, 4 Dec 2023 14:55:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:49:44.836202
- Title: Foundations for Transfer in Reinforcement Learning: A Taxonomy of
Knowledge Modalities
- Title（参考訳）: 強化学習における移動の基礎:知識モダリティの分類
- Authors: Markus Wulfmeier, Arunkumar Byravan, Sarah Bechtle, Karol Hausman,
Nicolas Heess
- Abstract要約: 我々は、知識の一般化と伝達を精査する機会と課題を考察する。
強化学習(RL)の領域では、知識の表現は様々なモダリティを通して現れる。
この分類学は、これらのモダリティを体系的に対象とし、それらの固有の性質と異なる目的や移動のメカニズムと整合性に基づいて議論の枠組みを定めている。
- 参考スコア（独自算出の注目度）: 28.65224261733876
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Contemporary artificial intelligence systems exhibit rapidly growing
abilities accompanied by the growth of required resources, expansive datasets
and corresponding investments into computing infrastructure. Although earlier
successes predominantly focus on constrained settings, recent strides in
fundamental research and applications aspire to create increasingly general
systems. This evolving landscape presents a dual panorama of opportunities and
challenges in refining the generalisation and transfer of knowledge - the
extraction from existing sources and adaptation as a comprehensive foundation
for tackling new problems. Within the domain of reinforcement learning (RL),
the representation of knowledge manifests through various modalities, including
dynamics and reward models, value functions, policies, and the original data.
This taxonomy systematically targets these modalities and frames its discussion
based on their inherent properties and alignment with different objectives and
mechanisms for transfer. Where possible, we aim to provide coarse guidance
delineating approaches which address requirements such as limiting environment
interactions, maximising computational efficiency, and enhancing generalisation
across varying axes of change. Finally, we analyse reasons contributing to the
prevalence or scarcity of specific forms of transfer, the inherent potential
behind pushing these frontiers, and underscore the significance of
transitioning from designed to learned transfer.
- Abstract（参考訳）: 現代の人工知能システムは、必要なリソースの成長、拡張的なデータセット、それに対応するコンピューティングインフラストラクチャへの投資に伴う、急速に成長している能力を示す。
初期の成功は主に制約のある設定に重点を置いていたが、最近の基礎研究やアプリケーションにおける進歩は、ますます一般的なシステムを作り出そうとしている。
この発展する風景は、知識の一般化と伝達を洗練する上での機会と課題の二重パノラマをもたらし、新しい問題に取り組むための包括的基盤としての既存の情報源からの抽出と適応である。
強化学習(RL)の領域内では、知識の表現は、力学や報酬モデル、値関数、ポリシー、および元のデータなど、様々なモダリティを通して表される。
この分類学は、これらの様相を体系的に標的とし、それらの固有の性質と異なる目的と伝達のメカニズムに基づく議論の枠組みとなっている。
可能ならば,環境相互作用の制限,計算効率の最大化,変化の軸をまたいだ一般化の促進といった要件に対処する,粗い指針の策定を目標とする。
最後に、これらのフロンティアを推し進める背景にある本質的なポテンシャルである、特定の転送の頻度や不足に寄与する理由を分析し、移行から学習への移行の重要性を明らかにする。
関連論文リスト
- Latent-Predictive Empowerment: Measuring Empowerment without a Simulator [56.53777237504011]
我々は、より実用的な方法でエンパワーメントを計算するアルゴリズムであるLatent-Predictive Empowerment(LPE)を提案する。
LPEは、スキルと国家間の相互情報の原則的な置き換えである目的を最大化することで、大きなスキルセットを学習する。
論文 参考訳（メタデータ） (2024-10-15T00:41:18Z) - GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Adaptive Meta-Domain Transfer Learning (AMDTL): A Novel Approach for Knowledge Transfer in AI [0.0]
AMDTLは、ドメインのミスアライメント、負の転送、破滅的な忘れなど、トランスファーラーニングの主な課題に対処することを目的としている。
このフレームワークは、タスクの多様な分散に訓練されたメタラーナー、ドメインの特徴分布を整合させる敵のトレーニング技術、動的特徴制御機構を統合している。
ベンチマークデータセットによる実験結果から,AMDTLは既存の移動学習手法よりも精度,適応効率,堅牢性に優れていた。
論文 参考訳（メタデータ） (2024-09-10T18:11:48Z) - On the Role of Entity and Event Level Conceptualization in Generalizable Reasoning: A Survey of Tasks, Methods, Applications, and Future Directions [46.63556358247516]
エンティティとイベントレベルの概念化は、一般化可能な推論において重要な役割を果たす。
現在、概念化の定義、実行、適用に関する既存の研究を包括的に調べる体系的な概要が欠如している。
本稿では,150以上の論文を総合的に調査し,概念化に関連する様々な定義,資源,方法,下流のアプリケーションを統一分類に分類する。
論文 参考訳（メタデータ） (2024-06-16T10:32:41Z) - Position: Foundation Agents as the Paradigm Shift for Decision Making [24.555816843983003]
我々は,エージェントの学習パラダイムの変革的変化として,基礎エージェントの構築を提唱する。
我々は,大規模な対話型データ収集や生成から自己指導型事前学習,適応に至るまで,基礎エージェントのロードマップを定めている。
論文 参考訳（メタデータ） (2024-05-27T09:54:50Z) - Domain Generalization through Meta-Learning: A Survey [6.524870790082051]
ディープニューラルネットワーク(DNN)は人工知能に革命をもたらしたが、アウト・オブ・ディストリビューション(OOD)データに直面すると、しばしばパフォーマンスが低下する。
本調査はメタラーニングの領域を掘り下げ,ドメインの一般化への貢献に焦点をあてたものである。
論文 参考訳（メタデータ） (2024-04-03T14:55:17Z) - Investigating Continual Pretraining in Large Language Models: Insights
and Implications [9.591223887442704]
本稿では,大規模言語モデル(LLM)における継続学習の進化領域について考察する。
我々の主な重点は、LLMに様々なドメインからの新たな情報を統合する能力を持たせるために設計された、連続的なドメイン適応型事前訓練である。
モデルサイズが学習の効率性や忘れに及ぼす影響や、新興ドメインの進行と類似性がこれらのモデル内の知識伝達に与える影響について検討する。
論文 参考訳（メタデータ） (2024-02-27T10:47:24Z) - Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。
このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。
我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
論文 参考訳（メタデータ） (2023-07-03T16:01:45Z) - Foundations and Recent Trends in Multimodal Machine Learning:
Principles, Challenges, and Open Questions [68.6358773622615]
本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。
本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。
最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
論文 参考訳（メタデータ） (2022-09-07T19:21:19Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-27T13:17:18Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。