論文の概要: Provable Meta-Learning of Linear Representations

• arxiv url: http://arxiv.org/abs/2002.11684v5
• Date: Sat, 1 Jan 2022 01:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 13:49:40.466249
• Title: Provable Meta-Learning of Linear Representations
• Title（参考訳）: 線形表現の証明可能なメタラーニング
• Authors: Nilesh Tripuraneni, Chi Jin, Michael I. Jordan
• Abstract要約: 我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
• 参考スコア（独自算出の注目度）: 114.656572506859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning, or learning-to-learn, seeks to design algorithms that can utilize previous experience to rapidly learn new skills or adapt to new environments. Representation learning -- a key tool for performing meta-learning -- learns a data representation that can transfer knowledge across multiple tasks, which is essential in regimes where data is scarce. Despite a recent surge of interest in the practice of meta-learning, the theoretical underpinnings of meta-learning algorithms are lacking, especially in the context of learning transferable representations. In this paper, we focus on the problem of multi-task linear regression -- in which multiple linear regression models share a common, low-dimensional linear representation. Here, we provide provably fast, sample-efficient algorithms to address the dual challenges of (1) learning a common set of features from multiple, related tasks, and (2) transferring this knowledge to new, unseen tasks. Both are central to the general problem of meta-learning. Finally, we complement these results by providing information-theoretic lower bounds on the sample complexity of learning these linear features.
• Abstract（参考訳）: メタラーニング(メタラーニング・トゥ・ラーン)は、以前の経験を利用して新しいスキルを素早く学習したり、新しい環境に適応できるアルゴリズムを設計することを目指している。 表現学習 -- メタ学習を行うための重要なツール -- は、複数のタスクにまたがる知識を伝達できるデータ表現を学習する。 近年,メタラーニングの実践への関心が高まっているにもかかわらず,メタラーニングアルゴリズムの理論的基盤は特に伝達可能な表現の学習において欠落している。 本稿では,複数の線形回帰モデルが共通の低次元線形表現を共有するマルチタスク線形回帰の問題に着目する。 本稿では,(1)複数の関連タスクから共通した特徴集合を学習し,(2)この知識を新しい未知のタスクに伝達する,という2つの課題に対処するために,実証可能な高速でサンプル効率のアルゴリズムを提供する。 どちらもメタ学習の一般的な問題の中心である。 最後に、これらの線形特徴を学習するサンプル複雑性について情報理論的な下限を提供することにより、これらの結果を補完する。

関連論文リスト

• Rethinking Meta-Learning from a Learning Lens [17.00587250127854]
  我々は、メタ学習の戦略を学ぶためのより基本的な学習に焦点を当て、環境を変えることなく、エラーの原因とこれらのエラーの除去方法を探る。 本稿では,メタ学習の最適化プロセスに対するタスク関係の利用を提案し,その目的を達成するために,TRLearner(Task Relation Learner)と呼ばれるプラグアンドプレイ手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T02:00:16Z)
• Dynamics of Meta-learning Representation in the Teacher-student Scenario [8.099691748821114]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータを使って新しいタスクでモデルをトレーニングできることで人気を集めている。 本研究では,教師・学生シナリオにおけるストリーミングタスクを訓練した非線形2層ニューラルネットワークのメタラーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-22T16:59:32Z)
• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness [30.596695293390415]
  本稿では, ライフサイクル・アンラーニング・コミットメント・マネジメント(LUCM)の課題について紹介する。 サンプルレベルの未学習完全性を評価するための効率的な指標を提案する。 このメトリクスは、未学習ライフサイクル全体を通して、未学習の異常を監視するツールとして機能することを示す。
  論文  参考訳（メタデータ） (2024-03-19T15:37:27Z)
• When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
  メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。 継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。 本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
  論文  参考訳（メタデータ） (2023-11-09T09:49:50Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。