論文の概要: Lifelong Machine Learning of Functionally Compositional Structures
- arxiv url: http://arxiv.org/abs/2207.12256v1
- Date: Mon, 25 Jul 2022 15:24:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:43:55.103812
- Title: Lifelong Machine Learning of Functionally Compositional Structures
- Title（参考訳）: 機能的構成構造の生涯機械学習
- Authors: Jorge A. Mendez
- Abstract要約: この論文は、機能的な構成構造の生涯学習のための汎用的な枠組みを提示する。
このフレームワークは、学習を2つの段階に分ける: 既存のコンポーネントを組み合わせて新しい問題を同化する方法を学び、新しい問題に対応するために既存のコンポーネントを適応する方法を学ぶ。
教師付き学習評価の結果,1)構成モデルでは,多様なタスクの生涯学習が向上し,2)多段階のプロセスでは構成知識の生涯学習が可能となり,3)フレームワークが学習するコンポーネントは自己完結的かつ再利用可能な機能を表すことがわかった。
- 参考スコア（独自算出の注目度）: 7.99536002595393
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A hallmark of human intelligence is the ability to construct self-contained
chunks of knowledge and reuse them in novel combinations for solving different
problems. Learning such compositional structures has been a challenge for
artificial systems, due to the underlying combinatorial search. To date,
research into compositional learning has largely proceeded separately from work
on lifelong or continual learning. This dissertation integrated these two lines
of work to present a general-purpose framework for lifelong learning of
functionally compositional structures. The framework separates the learning
into two stages: learning how to combine existing components to assimilate a
novel problem, and learning how to adapt the existing components to accommodate
the new problem. This separation explicitly handles the trade-off between
stability and flexibility. This dissertation instantiated the framework into
various supervised and reinforcement learning (RL) algorithms. Supervised
learning evaluations found that 1) compositional models improve lifelong
learning of diverse tasks, 2) the multi-stage process permits lifelong learning
of compositional knowledge, and 3) the components learned by the framework
represent self-contained and reusable functions. Similar RL evaluations
demonstrated that 1) algorithms under the framework accelerate the discovery of
high-performing policies, and 2) these algorithms retain or improve performance
on previously learned tasks. The dissertation extended one lifelong
compositional RL algorithm to the nonstationary setting, where the task
distribution varies over time, and found that modularity permits individually
tracking changes to different elements in the environment. The final
contribution of this dissertation was a new benchmark for compositional RL,
which exposed that existing methods struggle to discover the compositional
properties of the environment.
- Abstract（参考訳）: 人間の知性の特徴は、知識の自己完結した塊を作り、異なる問題を解決するために新しい組み合わせでそれらを再利用する能力である。
このような構成構造を学ぶことは、基礎となる組合せ探索のため、人工的なシステムにとって困難である。
現在まで、作曲学習の研究は生涯または継続学習の研究から大きく進歩している。
この論文はこれら2つの系統を統合し、機能的構成構造を生涯学習するための汎用的な枠組みを提示した。
このフレームワークは、学習を2つの段階に分ける: 既存のコンポーネントを組み合わせて新しい問題を同化する方法を学び、新しい問題に対応するために既存のコンポーネントを適応する方法を学ぶ。
この分離は安定性と柔軟性の間のトレードオフを明示的に処理します。
この論文は、フレームワークを様々な教師付き強化学習(RL)アルゴリズムにインスタンス化した。
教師付き学習評価では
1)多様なタスクの生涯学習を改善する構成モデル。
2)多段階のプロセスは、構成的知識の生涯学習を許容し、
3) フレームワークで学習したコンポーネントは自己完結型かつ再利用可能な関数を表す。
同様のRL評価は、
1) 枠組みに基づくアルゴリズムは,高性能な政策の発見を加速し,
2)これらのアルゴリズムは、以前に学習したタスクのパフォーマンスを維持または改善する。
この論文は、一生涯にわたる合成RLアルゴリズムを、タスクの分布が時間とともに変化する非定常的な設定に拡張し、モジュール性は環境の異なる要素の変化を個別に追跡することができることを示した。
この論文の最終的な貢献は合成RLの新しいベンチマークであり、既存の手法が環境の組成特性を発見するのに苦労していることが明らかになった。
関連論文リスト
- Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - System Design for an Integrated Lifelong Reinforcement Learning Agent
for Real-Time Strategy Games [34.3277278308442]
継続/寿命学習(LL)は、新しいタスクを学習するモデルの能力を最大化しながら、古いタスクの忘れを最小限にする。
本稿では、L2RLシステムを標準化し、異なる連続学習コンポーネントを同化するLifelong Reinforcement Learning Components Framework (L2RLCF)を紹介する。
本稿では,複数の独立開発LLコンポーネントが単一システムに統合可能であることを示すケーススタディについて述べる。
論文 参考訳（メタデータ） (2022-12-08T23:32:57Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - CompoSuite: A Compositional Reinforcement Learning Benchmark [20.89464587308586]
合成マルチタスク強化学習(RL)のためのオープンソースのベンチマークであるCompoSuiteを提案する。
それぞれのCompoSuiteタスクは、障害物を避けながらタスク目標を達成するために、特定のロボットアームが1つの個々のオブジェクトを操作する必要がある。
我々は,既存のシングルタスク,マルチタスク,コンポジション学習のアルゴリズムを,様々なトレーニング設定でベンチマークし,それらが目に見えないタスクに合成的に一般化する能力を評価する。
論文 参考訳（メタデータ） (2022-07-08T22:01:52Z) - Modular Lifelong Reinforcement Learning via Neural Composition [31.561979764372886]
人間は通常、それらをより簡単なサブプロブレムに分解し、サブプロブレムの解を組み合わせることで複雑な問題を解く。
このタイプの構成推論は、基礎となる構成構造の一部を共有する将来のタスクに取り組む際に、サブプロブレム解の再利用を可能にする。
連続的または生涯にわたる強化学習(RL)では、この知識を再利用可能なコンポーネントに分解する能力により、エージェントは新しいRLタスクを迅速に学習することができる。
論文 参考訳（メタデータ） (2022-07-01T13:48:29Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳（メタデータ） (2022-06-09T05:19:32Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳（メタデータ） (2022-02-28T16:07:19Z) - Spatio-Temporal Representation Factorization for Video-based Person
Re-Identification [55.01276167336187]
本稿では、re-IDのための時空間表現分解モジュール(STRF)を提案する。
STRFはフレキシブルな新しい計算ユニットであり、re-IDのための既存のほとんどの3D畳み込みニューラルネットワークアーキテクチャと併用することができる。
実験により、STRFは様々なベースラインアーキテクチャの性能を向上し、新しい最先端の成果を示す。
論文 参考訳（メタデータ） (2021-07-25T19:29:37Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Lifelong Learning of Compositional Structures [26.524289609910653]
構成構造の生涯学習のための汎用フレームワークを提案する。
我々のフレームワークは学習プロセスを2つの広い段階に分け、新しい問題を同化するために既存のコンポーネントを最もうまく組み合わせる方法を学び、新しい問題に対応するために既存のコンポーネントの集合を適応する方法を学ぶ。
論文 参考訳（メタデータ） (2020-07-15T14:58:48Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。