論文の概要: Exploring the Similarity of Representations in Model-Agnostic Meta-Learning

• arxiv url: http://arxiv.org/abs/2105.05757v1
• Date: Wed, 12 May 2021 16:20:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:34:49.571543
• Title: Exploring the Similarity of Representations in Model-Agnostic Meta-Learning
• Title（参考訳）: モデル非依存型メタラーニングにおける表現の類似性の検討
• Authors: Thomas Goerttler and Klaus Obermayer
• Abstract要約: モデルに依存しないメタラーニング(MAML)は、メタラーニングで最も有望なアプローチの1つです。 近年の研究では、MMLは素早い学習よりも機能を再利用している。 神経科学の確立した手法である表現類似性分析(RSA)をMAMLの少数ショット学習インスタンス化に適用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In past years model-agnostic meta-learning (MAML) has been one of the most promising approaches in meta-learning. It can be applied to different kinds of problems, e.g., reinforcement learning, but also shows good results on few-shot learning tasks. Besides their tremendous success in these tasks, it has still not been fully revealed yet, why it works so well. Recent work proposes that MAML rather reuses features than rapidly learns. In this paper, we want to inspire a deeper understanding of this question by analyzing MAML's representation. We apply representation similarity analysis (RSA), a well-established method in neuroscience, to the few-shot learning instantiation of MAML. Although some part of our analysis supports their general results that feature reuse is predominant, we also reveal arguments against their conclusion. The similarity-increase of layers closer to the input layers arises from the learning task itself and not from the model. In addition, the representations after inner gradient steps make a broader change to the representation than the changes during meta-training.
• Abstract（参考訳）: 近年,モデルに依存しないメタラーニング(MAML)はメタラーニングにおいて最も有望なアプローチの1つである。 強化学習のような様々な問題に適用できるが、わずかな学習タスクでも良い結果が得られる。 これらのタスクにおける大きな成功に加えて、なぜこれほどうまく機能するのか、まだ完全には明らかにされていない。 最近の研究は、MAMLが急速に学習するよりもむしろ機能を再利用することを示唆している。 本稿では,MAMLの表現を解析することによって,この問題のより深い理解を促したい。 神経科学の確立した手法である表現類似性分析(RSA)をMAMLの少数ショット学習インスタンス化に適用する。 我々の分析の一部は、機能の再利用が支配的であるという一般的な結果を支持しているが、それらの結論に対する議論も明らかにしている。 入力層に近いレイヤの類似性の増加は、モデルではなく、学習タスク自体から生じます。 さらに、内部勾配ステップ後の表現は、メタトレーニング中の変化よりも広範な表現の変更を行う。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• MAML and ANIL Provably Learn Representations [60.17417686153103]
  我々は,MAMLとANILという2つの有名なメタ学習手法が,与えられたタスク群間の共通表現を学習可能であることを証明した。 具体的には、よく知られたマルチタスク線形表現学習環境では、指数関数的に高速な速度で接地トラス表現を復元することができる。 解析の結果,MAMLとANILがベースとなる表現を回復させる駆動力は,モデルの最終層に適応していることが判明した。
  論文  参考訳（メタデータ） (2022-02-07T19:43:02Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
  メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。 機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。 メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
  論文  参考訳（メタデータ） (2021-12-24T20:18:38Z)
• Meta-learning Amidst Heterogeneity and Ambiguity [11.061517140668961]
  我々は異質性・曖昧性(MAHA)の中でメタラーニングと呼ばれる新しいメタラーニングフレームワークを考案する。 回帰と分類のいくつかの実験を広範囲に実施することにより、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T18:54:31Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• BOIL: Towards Representation Change for Few-shot Learning [20.23766569940024]
  本研究は,ドメインに依存しない課題を解くことを目的とした,少数ショット学習の究極の目標に対する表現変化の必要性について考察する。 本稿では,モデル本体のみを更新し,内部ループ更新時に頭部を凍結する,BOILと呼ばれる新しいメタ学習アルゴリズムを提案する。 BOILは、特にクロスドメインタスクにおいて、MAMLよりも顕著なパフォーマンス改善を実証的に示す。
  論文  参考訳（メタデータ） (2020-08-20T10:52:23Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。