論文の概要: Conditional Meta-Learning of Linear Representations

• arxiv url: http://arxiv.org/abs/2103.16277v1
• Date: Tue, 30 Mar 2021 12:02:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 14:44:55.452332
• Title: Conditional Meta-Learning of Linear Representations
• Title（参考訳）: リニア表現の条件メタラーニング
• Authors: Giulia Denevi, Massimiliano Pontil, Carlo Ciliberto
• Abstract要約: 表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 57.90025697492041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard meta-learning for representation learning aims to find a common representation to be shared across multiple tasks. The effectiveness of these methods is often limited when the nuances of the tasks' distribution cannot be captured by a single representation. In this work we overcome this issue by inferring a conditioning function, mapping the tasks' side information (such as the tasks' training dataset itself) into a representation tailored to the task at hand. We study environments in which our conditional strategy outperforms standard meta-learning, such as those in which tasks can be organized in separate clusters according to the representation they share. We then propose a meta-algorithm capable of leveraging this advantage in practice. In the unconditional setting, our method yields a new estimator enjoying faster learning rates and requiring less hyper-parameters to tune than current state-of-the-art methods. Our results are supported by preliminary experiments.
• Abstract（参考訳）: 表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的としている。 これらの方法の有効性は、タスクの分布のニュアンスが単一の表現でキャプチャできない場合、しばしば制限される。 本研究では,タスクの側情報(タスクのトレーニングデータセット自体など)を手作業に適した表現にマッピングすることで,条件付け関数を推論することでこの問題を克服する。 条件付き戦略が標準的なメタラーニングよりも優れている環境について検討する。例えば、タスクは共有する表現に従って別々のクラスタに編成できる。 次に,この利点を実際に活用できるメタアルゴリズムを提案する。 非条件設定では,本手法は学習速度を向上し,現在の最先端手法よりも過度パラメータの調整を必要としない新しい推定器を提供する。 我々の結果は予備実験によって支えられている。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning [14.720411598827365]
  各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。 列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。 サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
  論文  参考訳（メタデータ） (2021-06-29T17:59:33Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Function Contrastive Learning of Transferable Meta-Representations [38.31692245188669]
  共同訓練がメタ表現の伝達性に及ぼす影響について検討した。 教師付きメタ学習のためのデカップリングエンコーダデコーダアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T13:50:22Z)
• The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning [50.21341246243422]
  バイアスレギュラー化と微調整は、最近の2つのメタラーニングアプローチである。 本稿では,条件付き関数マッピングタスクの側情報をメタパラメータベクトルに推論する条件付きメタラーニングを提案する。 次に、実際には同等の利点をもたらす凸メタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-25T07:32:16Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。