論文の概要: BOIL: Towards Representation Change for Few-shot Learning

• arxiv url: http://arxiv.org/abs/2008.08882v2
• Date: Wed, 3 Mar 2021 05:16:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 02:47:45.669697
• Title: BOIL: Towards Representation Change for Few-shot Learning
• Title（参考訳）: BOIL:Few-shot Learningのための表現変化を目指して
• Authors: Jaehoon Oh, Hyungjun Yoo, ChangHwan Kim, Se-Young Yun
• Abstract要約: 本研究は,ドメインに依存しない課題を解くことを目的とした,少数ショット学習の究極の目標に対する表現変化の必要性について考察する。 本稿では,モデル本体のみを更新し,内部ループ更新時に頭部を凍結する,BOILと呼ばれる新しいメタ学習アルゴリズムを提案する。 BOILは、特にクロスドメインタスクにおいて、MAMLよりも顕著なパフォーマンス改善を実証的に示す。
• 参考スコア（独自算出の注目度）: 20.23766569940024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model Agnostic Meta-Learning (MAML) is one of the most representative of gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples using inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. It has recently been hypothesized that representation reuse, which makes little change in efficient representations, is the dominant factor in the performance of the meta-initialized model through MAML in contrast to representation change, which causes a significant change in representations. In this study, we investigate the necessity of representation change for the ultimate goal of few-shot learning, which is solving domain-agnostic tasks. To this aim, we propose a novel meta-learning algorithm, called BOIL (Body Only update in Inner Loop), which updates only the body (extractor) of the model and freezes the head (classifier) during inner loop updates. BOIL leverages representation change rather than representation reuse. This is because feature vectors (representations) have to move quickly to their corresponding frozen head vectors. We visualize this property using cosine similarity, CKA, and empirical results without the head. BOIL empirically shows significant performance improvement over MAML, particularly on cross-domain tasks. The results imply that representation change in gradient-based meta-learning approaches is a critical component.
• Abstract（参考訳）: Model Agnostic Meta-Learning (MAML)は、勾配に基づくメタ学習アルゴリズムの最も代表的な1つである。 MAMLは、メタ初期化ポイントから内部更新を使用して、いくつかのデータサンプルを使用して新しいタスクを学び、外部更新でメタ初期化パラメータを学ぶ。 近年、表現の効率性はほとんど変化しない表現再利用が、表現の変化に対してMAMLによるメタ初期化モデルの性能において支配的な要因であり、表現に大きな変化をもたらすという仮説が立てられている。 本研究では,ドメインに依存しないタスクを解き明かす,マイノリティ学習の究極の目標に向けて,表現変化の必要性について検討する。 そこで本研究では,内部ループ更新時に,モデル本体(抽出器)のみを更新し,頭部(分類器)を凍結する,BOIL(Body Only update in inner Loop)と呼ばれるメタ学習アルゴリズムを提案する。 BOILは表現の再利用よりも表現の再利用を利用する。 これは、特徴ベクトル(表現)が対応する凍結ヘッドベクトルに素早く移動する必要があるためである。 頭部のないコサイン類似性,CKA,経験的結果を用いて,この特性を可視化する。 BOILは、特にクロスドメインタスクにおいて、MAMLよりも顕著なパフォーマンス向上を示す。 結果は、勾配に基づくメタラーニングアプローチにおける表現の変化が重要な要素であることを示している。

関連論文リスト

• Cooperative Meta-Learning with Gradient Augmentation [6.472397166280681]
  本稿では,CMLと呼ばれる新しいメタラーニングフレームワークを提案する。 本研究では,CMLと呼ばれる新しいメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-07T04:54:00Z)
• Context-Aware Meta-Learning [52.09326317432577]
  本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。 我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
  論文  参考訳（メタデータ） (2023-10-17T03:35:27Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• MAC: A Meta-Learning Approach for Feature Learning and Recombination [0.0]
  本稿では,ニューラルネットワークの幅-深さ双対性を呼び出すことにより,余分な計算ユニット(ACU)を追加することにより,ネットワークの幅を増大させる。 実験の結果,提案手法は,非類似タスク分布に対する既存のANILアルゴリズムを約13%上回る性能を示した。
  論文  参考訳（メタデータ） (2022-09-20T11:09:54Z)
• Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
  メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。 機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。 メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
  論文  参考訳（メタデータ） (2021-12-24T20:18:38Z)
• How to Train Your MAML to Excel in Few-Shot Classification [26.51244463209443]
  そこで本研究では,MAMLの訓練方法について紹介する。 我々のアプローチはUNICORN-MAMLと呼ばれ、最先端のアルゴリズムに匹敵する、あるいは性能に優れる。
  論文  参考訳（メタデータ） (2021-06-30T17:56:15Z)
• Exploring the Similarity of Representations in Model-Agnostic Meta-Learning [0.0]
  モデルに依存しないメタラーニング(MAML)は、メタラーニングで最も有望なアプローチの1つです。 近年の研究では、MMLは素早い学習よりも機能を再利用している。 神経科学の確立した手法である表現類似性分析(RSA)をMAMLの少数ショット学習インスタンス化に適用する。
  論文  参考訳（メタデータ） (2021-05-12T16:20:40Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。