論文の概要: Informed Meta-Learning
- arxiv url: http://arxiv.org/abs/2402.16105v2
- Date: Thu, 28 Mar 2024 09:16:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 20:43:01.300403
- Title: Informed Meta-Learning
- Title（参考訳）: インフォームドメタラーニング
- Authors: Katarzyna Kobalczyk, Mihaela van der Schaar,
- Abstract要約: メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。
本稿では,タスク間の知識共有の相補性を求める,メタラーニングのための新しいハイブリッドパラダイムを提案する。
観測騒音に対するデータ効率とロバスト性を改善する上で,情報メタラーニングの潜在的な利点を実証する。
- 参考スコア（独自算出の注目度）: 55.2480439325792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In noisy and low-data regimes prevalent in real-world applications, an outstanding challenge of machine learning lies in effectively incorporating inductive biases that promote data efficiency and robustness. Meta-learning and informed ML stand out as two approaches for incorporating prior knowledge into the ML pipeline. While the former relies on a purely data-driven source of priors, the latter is guided by a formal representation of expert knowledge. This paper introduces a novel hybrid paradigm, informed meta-learning, seeking complementarity in cross-task knowledge sharing of humans and machines. We establish the foundational components of informed meta-learning and present a concrete instantiation of this framework--the Informed Neural Process. Through a series of illustrative and larger-scale experiments, we demonstrate the potential benefits of informed meta-learning in improving data efficiency and robustness to observational noise, task distribution shifts, and heterogeneity.
- Abstract（参考訳）: 現実のアプリケーションで一般的なノイズや低データのレシエーションでは、機械学習の際立った課題は、データ効率と堅牢性を促進する帰納的バイアスを効果的に取り入れることである。
メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。
前者は純粋にデータ駆動の事前情報源に依存しているが、後者は専門知識の形式的な表現によって導かれる。
本稿では,人間と機械のクロスタスク知識共有における相補性を求める,情報メタラーニングという新たなハイブリッドパラダイムを提案する。
我々は,情報メタ学習の基礎的構成要素を確立し,この枠組みの具体的インスタンス化、すなわちインフォームド・ニューラル・プロセスを示す。
本研究は,一連の実測的および大規模実験を通じて,観測騒音,タスク分布シフト,不均一性に対するデータ効率とロバスト性を改善する上で,情報メタラーニングの潜在的メリットを実証する。
関連論文リスト
- Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Advances and Challenges in Meta-Learning: A Technical Review [7.149235250835041]
メタ学習は、複数のタスクから知識を得る能力を持つ学習システムに力を与える。
このレビューは、データの不足や入手コストの低い実世界のアプリケーションにおいて、その重要性を強調している。
論文 参考訳（メタデータ） (2023-07-10T17:32:15Z) - Deep Active Learning for Computer Vision: Past and Future [50.19394935978135]
AIモデルの開発に欠かせない役割にもかかわらず、アクティブラーニングの研究は他の研究の方向性ほど集中的ではない。
データ自動化の課題に対処し、自動化された機械学習システムに対処することによって、アクティブな学習はAI技術の民主化を促進する。
論文 参考訳（メタデータ） (2022-11-27T13:07:14Z) - Learning with Limited Samples -- Meta-Learning and Applications to
Communication Systems [46.760568562468606]
メタ学習は、新しいタスクに迅速に適応できる学習アルゴリズムを最適化する。
このレビュー・モノグラフは、原則、アルゴリズム、理論、工学的応用をカバーし、メタラーニングの紹介を提供する。
論文 参考訳（メタデータ） (2022-10-03T17:15:36Z) - A Metamodel and Framework for Artificial General Intelligence From
Theory to Practice [11.756425327193426]
本稿では,自律学習と適応性を大幅に向上させるメタモデルに基づく知識表現を提案する。
我々は,時系列解析,コンピュータビジョン,自然言語理解といった問題にメタモデルを適用した。
メタモデルの驚くべき結果のひとつは、新たなレベルの自律的な学習と、マシンインテリジェンスのための最適な機能を可能にするだけでなく、それを可能にすることだ。
論文 参考訳（メタデータ） (2021-02-11T16:45:58Z) - Online Structured Meta-learning [137.48138166279313]
現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。
この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。
3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
論文 参考訳（メタデータ） (2020-10-22T09:10:31Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z) - From Learning to Meta-Learning: Reduced Training Overhead and Complexity
for Communication Systems [40.427909614453526]
機械学習手法は、データやアクティブな観察に基づいて、一定の学習手順を用いて、与えられたモデルクラスに置かれるように制約されたモデルのパラメータを適応する。
メタトレーニングによる帰納バイアスでは、トレーニングデータと/または時間の複雑さを減らして、マシンラーニングモデルのトレーニングを実行することができる。
本稿では,メタラーニングの高度導入と通信システムへの応用について述べる。
論文 参考訳（メタデータ） (2020-01-05T12:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。