論文の概要: A Domain-Agnostic Approach for Characterization of Lifelong Learning
Systems
- arxiv url: http://arxiv.org/abs/2301.07799v1
- Date: Wed, 18 Jan 2023 21:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 16:01:25.644052
- Title: A Domain-Agnostic Approach for Characterization of Lifelong Learning
Systems
- Title(参考訳): 生涯学習システム評価のためのドメインに依存しないアプローチ
- Authors: Megan M. Baker, Alexander New, Mario Aguilar-Simon, Ziad Al-Halah,
S\'ebastien M. R. Arnold, Ese Ben-Iwhiwhu, Andrew P. Brna, Ethan Brooks, Ryan
C. Brown, Zachary Daniels, Anurag Daram, Fabien Delattre, Ryan Dellana, Eric
Eaton, Haotian Fu, Kristen Grauman, Jesse Hostetler, Shariq Iqbal, Cassandra
Kent, Nicholas Ketz, Soheil Kolouri, George Konidaris, Dhireesha Kudithipudi,
Erik Learned-Miller, Seungwon Lee, Michael L. Littman, Sandeep Madireddy,
Jorge A. Mendez, Eric Q. Nguyen, Christine D. Piatko, Praveen K. Pilly, Aswin
Raghavan, Abrar Rahman, Santhosh Kumar Ramakrishnan, Neale Ratzlaff, Andrea
Soltoggio, Peter Stone, Indranil Sur, Zhipeng Tang, Saket Tiwari, Kyle
Vedder, Felix Wang, Zifan Xu, Angel Yanguas-Gil, Harel Yedidsion, Shangqun
Yu, Gautam K. Vallabha
- Abstract要約: 「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。
この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
- 参考スコア(独自算出の注目度): 128.63953314853327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the advancement of machine learning techniques in recent years,
state-of-the-art systems lack robustness to "real world" events, where the
input distributions and tasks encountered by the deployed systems will not be
limited to the original training context, and systems will instead need to
adapt to novel distributions and tasks while deployed. This critical gap may be
addressed through the development of "Lifelong Learning" systems that are
capable of 1) Continuous Learning, 2) Transfer and Adaptation, and 3)
Scalability. Unfortunately, efforts to improve these capabilities are typically
treated as distinct areas of research that are assessed independently, without
regard to the impact of each separate capability on other aspects of the
system. We instead propose a holistic approach, using a suite of metrics and an
evaluation framework to assess Lifelong Learning in a principled way that is
agnostic to specific domains or system techniques. Through five case studies,
we show that this suite of metrics can inform the development of varied and
complex Lifelong Learning systems. We highlight how the proposed suite of
metrics quantifies performance trade-offs present during Lifelong Learning
system development - both the widely discussed Stability-Plasticity dilemma and
the newly proposed relationship between Sample Efficient and Robust Learning.
Further, we make recommendations for the formulation and use of metrics to
guide the continuing development of Lifelong Learning systems and assess their
progress in the future.
- Abstract(参考訳): 近年の機械学習技術の進歩にもかかわらず、最先端のシステムは"現実世界"のイベントに対して堅牢性に欠けており、デプロイされたシステムで遭遇する入力分布やタスクは、元のトレーニングコンテキストに制限されず、デプロイ中に新しいディストリビューションやタスクに適応する必要がある。
この重要なギャップは、"生涯学習"システムの開発を通じて対処できるかもしれない。
1)継続的学習
2)移転及び適応、及び
3) スケーラビリティ。
残念なことに、これらの能力を改善する努力は、通常、個々の能力がシステムの他の側面に与える影響を考慮せずに、独立して評価される研究領域として扱われる。
代わりに、一連のメトリクスと評価フレームワークを使用して、特定のドメインやシステム技術に依存しない原則的な方法で生涯学習を評価する、全体論的アプローチを提案する。
5つのケーススタディを通して、このメトリクススイートが、多様な複雑な生涯学習システムの開発に役立てることができることを示す。
提案する一連のメトリクスは,生涯学習システム開発におけるパフォーマンストレードオフを定量化する。安定性と可塑性のジレンマが広く議論されていることと,サンプルの効率的かつロバストな学習との間に新たに提案された関係性について紹介する。
さらに,生涯学習システムの継続的な発展を指導し,今後の進歩を評価するために,メトリクスの定式化と利用を推奨する。
関連論文リスト
- Evaluating and Improving Continual Learning in Spoken Language
Understanding [58.723320551761525]
本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。
提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
論文 参考訳(メタデータ) (2024-02-16T03:30:27Z) - Epistemic Exploration for Generalizable Planning and Learning in Non-Stationary Settings [23.038187032666304]
本稿では,非定常環境における継続計画とモデル学習のための新しいアプローチを提案する。
提案したフレームワークは、エージェントの現在の知識状態のギャップをモデル化し、焦点を絞った調査を行うためにそれらを使用する。
いくつかの非定常ベンチマーク領域での実証的な評価は、このアプローチがサンプルの複雑さの観点からプランニングとRLベースラインを著しく上回っていることを示している。
論文 参考訳(メタデータ) (2024-02-13T00:50:06Z) - Evaluating Pretrained models for Deployable Lifelong Learning [15.56002252251323]
我々は、キュレートされたデータセット上で事前学習した、視覚強化学習のための展開可能な生涯学習システム(RL)を評価する。
本システムは,メモリフットプリントが小さく,計算資源も少ないため,多数のタスクを組み込むことができる。
論文 参考訳(メタデータ) (2023-11-22T19:04:05Z) - Latent Properties of Lifelong Learning Systems [59.50307752165016]
本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。
合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
論文 参考訳(メタデータ) (2022-07-28T20:58:13Z) - L2Explorer: A Lifelong Reinforcement Learning Assessment Environment [49.40779372040652]
強化学習ソリューションは、トレーニングされたデータ配布以外の新しいタスクに晒されると、あまり一般化しない傾向があります。
生涯学習エクスプローラー(L2Explorer)を用いた継続的強化学習開発と評価のための枠組みを導入する。
L2Explorerは新しいUnityベースのファーストパーソンな3D探索環境で、複雑な評価カリキュラムに構造化されたタスクやタスクのバリエーションを生成するために継続的に再構成することができる。
論文 参考訳(メタデータ) (2022-03-14T19:20:26Z) - Assessing the State of Self-Supervised Human Activity Recognition using
Wearables [6.777825307593778]
ウェアラブル型ヒューマンアクティビティ認識(HAR)分野における自己指導型学習
自己組織化されたメソッドは、例えば、ドメイン適応やセンサー位置、アクティビティ間の転送など、新しいアプリケーションドメインのホストを可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:21:50Z) - Lifelong Learning Metrics [63.8376359764052]
DARPA Lifelong Learning Machines (L2M) プログラムは、人工知能(AI)システムの進歩を目指している。
本論文は、生涯学習シナリオを実行するエージェントのパフォーマンスの構築と特徴付けのためのフォーマリズムを概説する。
論文 参考訳(メタデータ) (2022-01-20T16:29:14Z) - Towards a theory of out-of-distribution learning [23.878004729029644]
本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案する。
まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。
この研究によって、さまざまなタイプの学習を定量化する、普遍的に合意されたアプローチがもたらされることを期待しています。
論文 参考訳(メタデータ) (2021-09-29T15:35:16Z) - Active Learning for Nonlinear System Identification with Guarantees [102.43355665393067]
状態遷移が既知の状態-作用対の特徴埋め込みに線形に依存する非線形力学系のクラスについて検討する。
そこで本稿では, トラジェクティブ・プランニング, トラジェクティブ・トラッキング, システムの再推定という3つのステップを繰り返すことで, この問題を解決するためのアクティブ・ラーニング・アプローチを提案する。
本手法は, 非線形力学系を標準線形回帰の統計速度と同様, パラメトリック速度で推定する。
論文 参考訳(メタデータ) (2020-06-18T04:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。