論文の概要: Provable Meta-Learning of Linear Representations
- arxiv url: http://arxiv.org/abs/2002.11684v5
- Date: Sat, 1 Jan 2022 01:50:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 13:49:40.466249
- Title: Provable Meta-Learning of Linear Representations
- Title(参考訳): 線形表現の証明可能なメタラーニング
- Authors: Nilesh Tripuraneni, Chi Jin, Michael I. Jordan
- Abstract要約: 我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
- 参考スコア(独自算出の注目度): 114.656572506859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-learning, or learning-to-learn, seeks to design algorithms that can
utilize previous experience to rapidly learn new skills or adapt to new
environments. Representation learning -- a key tool for performing
meta-learning -- learns a data representation that can transfer knowledge
across multiple tasks, which is essential in regimes where data is scarce.
Despite a recent surge of interest in the practice of meta-learning, the
theoretical underpinnings of meta-learning algorithms are lacking, especially
in the context of learning transferable representations. In this paper, we
focus on the problem of multi-task linear regression -- in which multiple
linear regression models share a common, low-dimensional linear representation.
Here, we provide provably fast, sample-efficient algorithms to address the dual
challenges of (1) learning a common set of features from multiple, related
tasks, and (2) transferring this knowledge to new, unseen tasks. Both are
central to the general problem of meta-learning. Finally, we complement these
results by providing information-theoretic lower bounds on the sample
complexity of learning these linear features.
- Abstract(参考訳): メタラーニング(メタラーニング・トゥ・ラーン)は、以前の経験を利用して新しいスキルを素早く学習したり、新しい環境に適応できるアルゴリズムを設計することを目指している。
表現学習 -- メタ学習を行うための重要なツール -- は、複数のタスクにまたがる知識を伝達できるデータ表現を学習する。
近年,メタラーニングの実践への関心が高まっているにもかかわらず,メタラーニングアルゴリズムの理論的基盤は特に伝達可能な表現の学習において欠落している。
本稿では,複数の線形回帰モデルが共通の低次元線形表現を共有するマルチタスク線形回帰の問題に着目する。
本稿では,(1)複数の関連タスクから共通した特徴集合を学習し,(2)この知識を新しい未知のタスクに伝達する,という2つの課題に対処するために,実証可能な高速でサンプル効率のアルゴリズムを提供する。
どちらもメタ学習の一般的な問題の中心である。
最後に、これらの線形特徴を学習するサンプル複雑性について情報理論的な下限を提供することにより、これらの結果を補完する。
関連論文リスト
- Informed Meta-Learning [65.268245109828]
メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。
本稿では,タスク間の知識共有の相補性を求める,メタラーニングのための新しいハイブリッドパラダイムを提案する。
観測騒音に対するデータ効率とロバスト性を改善する上で,情報メタラーニングの潜在的な利点を実証する。
論文 参考訳(メタデータ) (2024-02-25T15:08:37Z) - When Meta-Learning Meets Online and Continual Learning: A Survey [44.437160324905726]
メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。
継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。
本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
論文 参考訳(メタデータ) (2023-11-09T09:49:50Z) - Concept Discovery for Fast Adapatation [42.81705659613234]
データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。
提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
論文 参考訳(メタデータ) (2023-01-19T02:33:58Z) - What Matters For Meta-Learning Vision Regression Tasks? [19.373532562905208]
本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。
まず、オブジェクト発見とポーズ推定という2つの新しいカテゴリレベルの視覚回帰タスクを設計する。
第2に,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
論文 参考訳(メタデータ) (2022-03-09T17:28:16Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2021-06-04T20:15:34Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2020-12-14T18:05:24Z) - A Sample Complexity Separation between Non-Convex and Convex
Meta-Learning [42.51788412283446]
メタラーニングの流行の1つは、サンプルが少ない新しいタスクを解くのに使える一般的な方法として、多くのタスクから学ぶことである。
本稿では,特に線形ネットワークのサブスペースにおいて,最適化ブラックボックスを理解することが重要であることを示す。
これらの手法の分析により、データを投影すべき部分空間をメタ学習できることが明らかになった。
論文 参考訳(メタデータ) (2020-02-25T20:55:09Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳(メタデータ) (2020-02-03T06:13:01Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。