論文の概要: MAML and ANIL Provably Learn Representations

• arxiv url: http://arxiv.org/abs/2202.03483v2
• Date: Sun, 4 Jun 2023 22:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:40:33.387429
• Title: MAML and ANIL Provably Learn Representations
• Title（参考訳）: MAMLとAnILはおそらく表現を学ぶ
• Authors: Liam Collins, Aryan Mokhtari, Sewoong Oh and Sanjay Shakkottai
• Abstract要約: 我々は,MAMLとANILという2つの有名なメタ学習手法が,与えられたタスク群間の共通表現を学習可能であることを証明した。 具体的には、よく知られたマルチタスク線形表現学習環境では、指数関数的に高速な速度で接地トラス表現を復元することができる。 解析の結果,MAMLとANILがベースとなる表現を回復させる駆動力は,モデルの最終層に適応していることが判明した。
• 参考スコア（独自算出の注目度）: 60.17417686153103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent empirical evidence has driven conventional wisdom to believe that gradient-based meta-learning (GBML) methods perform well at few-shot learning because they learn an expressive data representation that is shared across tasks. However, the mechanics of GBML have remained largely mysterious from a theoretical perspective. In this paper, we prove that two well-known GBML methods, MAML and ANIL, as well as their first-order approximations, are capable of learning common representation among a set of given tasks. Specifically, in the well-known multi-task linear representation learning setting, they are able to recover the ground-truth representation at an exponentially fast rate. Moreover, our analysis illuminates that the driving force causing MAML and ANIL to recover the underlying representation is that they adapt the final layer of their model, which harnesses the underlying task diversity to improve the representation in all directions of interest. To the best of our knowledge, these are the first results to show that MAML and/or ANIL learn expressive representations and to rigorously explain why they do so.
• Abstract（参考訳）: 最近の実証的証拠は、グラデーションベースのメタラーニング(gbml)手法が、タスク間で共有される表現力のあるデータ表現を学習するため、少数の学習でうまく機能すると信じている。 しかし、GBMLの力学は理論的な観点からほとんど謎のままである。 本稿では,MAMLとANILの2つのよく知られたGBML手法と,それらの一階述語近似が与えられたタスク間の共通表現を学習できることを示す。 具体的には、よく知られたマルチタスク線形表現学習環境では、指数関数的に速い速度で基底表現を復元することができる。 さらに,MAMLとANILを誘導する駆動力がモデルの最終層を適応させることで,タスクの多様性を生かし,関心のあらゆる方向の表現を改善することが本分析から明らかとなった。 私たちの知る限り、これらはMAMLおよび/またはANILが表現表現を学習し、その理由を厳格に説明するための最初の結果である。

関連論文リスト

• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Metacognitive Prompting Improves Understanding in Large Language Models [12.112914393948415]
  メタ認知プロンプト(MP)は,人間の内省的推論プロセスにインスパイアされた戦略である。 我々は10の自然言語理解(NLU)データセットにまたがる4つの先行するLarge Language Model(LLM)の実験を行った。 MPは、一般的なNLUタスクとドメイン固有のNLUタスクの両方において、既存のプロンプトメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-08-10T05:10:17Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Understanding Masked Autoencoders via Hierarchical Latent Variable Models [109.35382136147349]
  Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
  論文  参考訳（メタデータ） (2023-06-08T03:00:10Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Exploring the Similarity of Representations in Model-Agnostic Meta-Learning [0.0]
  モデルに依存しないメタラーニング(MAML)は、メタラーニングで最も有望なアプローチの1つです。 近年の研究では、MMLは素早い学習よりも機能を再利用している。 神経科学の確立した手法である表現類似性分析(RSA)をMAMLの少数ショット学習インスタンス化に適用する。
  論文  参考訳（メタデータ） (2021-05-12T16:20:40Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• EXplainable Neural-Symbolic Learning (X-NeSyL) methodology to fuse deep learning representations with expert knowledge graphs: the MonuMAI cultural heritage use case [13.833923272291853]
  本稿では,記号表現と深部表現の両方を学習するためのeXplainable Neural-symbolic Learning (X-NeSyL)手法を提案する。 X-NeSyL手法は、それぞれ推論時と訓練時の2つの説明概念の具体的使用を含む。 MonuMAIデータセットを用いたX-NeSyL手法を記念碑的ファサード画像分類に導入し,説明性と性能の向上を実証した。
  論文  参考訳（メタデータ） (2021-04-24T09:06:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。