論文の概要: Model agnostic methods meta-learn despite misspecifications

• arxiv url: http://arxiv.org/abs/2303.01335v1
• Date: Thu, 2 Mar 2023 15:13:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 13:53:03.797863
• Title: Model agnostic methods meta-learn despite misspecifications
• Title（参考訳）: モデル非依存なメタ学習手法
• Authors: Oguz Yuksel and Etienne Boursier and Nicolas Flammarion
• Abstract要約: この研究は、線形二層ネットワークアーキテクチャでANILを第一に順序付けした無限個のタスクの極限において、線形共有表現をうまく学習することを示した。 共有表現の隠蔽次元に対して広い幅を持つことは、アルゴリズムの性能を損なうものではない。
• 参考スコア（独自算出の注目度）: 17.016397531234393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to its empirical success on few shot classification and reinforcement learning, meta-learning recently received a lot of interest. Meta-learning leverages data from previous tasks to quickly learn a new task, despite limited data. In particular, model agnostic methods look for initialisation points from which gradient descent quickly adapts to any new task. Although it has been empirically suggested that such methods learn a good shared representation during training, there is no strong theoretical evidence of such behavior. More importantly, it is unclear whether these methods truly are model agnostic, i.e., whether they still learn a shared structure despite architecture misspecifications. To fill this gap, this work shows in the limit of an infinite number of tasks that first order ANIL with a linear two-layer network architecture successfully learns a linear shared representation. Moreover, this result holds despite misspecifications: having a large width with respect to the hidden dimension of the shared representation does not harm the algorithm performance. The learnt parameters then allow to get a small test loss after a single gradient step on any new task. Overall this illustrates how well model agnostic methods can adapt to any (unknown) model structure.
• Abstract（参考訳）: ショット分類と強化学習での経験的成功により、メタラーニングは最近多くの関心を集めている。 メタ学習は、データ制限にもかかわらず、以前のタスクからのデータを活用して、新しいタスクを素早く学習する。 特にモデルに依存しない手法は、勾配降下が新しいタスクに迅速に適応する初期化点を探す。 このような手法は訓練中に良い共有表現を学ぶことを実証的に示唆されているが、そのような行動の強い理論的証拠はない。 さらに重要なことは、これらの手法が本当にモデル非依存なのか、すなわち、アーキテクチャのミスセグメンテーションにもかかわらず共有構造を学習しているかどうかは不明である。 このギャップを埋めるために、この研究は、線形2層ネットワークアーキテクチャで最初にアニルを注文する無限個のタスクの限界を示し、線形共有表現をうまく学習する。 共有表現の隠蔽次元に対して広い幅を持つことは、アルゴリズムの性能を損なうものではない。 学習パラメータは、新しいタスクに単一の勾配ステップを施した後、小さなテスト損失を得ることができる。 全体としてこれは、モデル非依存のメソッドが(未知の)モデル構造にどのように適応できるかを示している。

関連論文リスト

• Meta-Learning with Versatile Loss Geometries for Fast Adaptation Using Mirror Descent [44.56938629818211]
  メタ学習における根本的な課題は、タスク固有のモデルをトレーニングするために、抽出したモデルを迅速に“適応”する方法である。 既存のアプローチは、タスク毎のトレーニングプロセスの収束性を高めるプリコンディショナーを使用して、この課題に対処する。 この寄与は非線形ミラーマップを学習することでこの制限に対処し、多角距離メートル法を誘導する。
  論文  参考訳（メタデータ） (2023-12-20T23:45:06Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• In Defense of the Learning Without Forgetting for Task Incremental Learning [91.3755431537592]
  破滅的な忘れは、継続的な学習システムへの道のりにおける大きな課題の1つだ。 本稿では, タスクインクリメンタルシナリオにおいて, 正しいアーキテクチャと標準的な拡張セットを併用して, LwF が得られた結果が最新のアルゴリズムを上回り, タスクインクリメンタルシナリオが実現されたことを示す。
  論文  参考訳（メタデータ） (2021-07-26T16:23:13Z)
• A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning [14.720411598827365]
  各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。 列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。 サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
  論文  参考訳（メタデータ） (2021-06-29T17:59:33Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Distribution Alignment: A Unified Framework for Long-tail Visual Recognition [52.36728157779307]
  長尾視覚認識のための分散アライメント戦略を提案する。 次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。 提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-03-30T14:09:53Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Few-shot Sequence Learning with Transformers [79.87875859408955]
  少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。 本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。 トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-17T12:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。