論文の概要: Contextual Gradient Scaling for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2110.10353v1
• Date: Wed, 20 Oct 2021 03:05:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 16:07:27.049234
• Title: Contextual Gradient Scaling for Few-Shot Learning
• Title（参考訳）: ファウショット学習のための文脈勾配スケーリング
• Authors: Sanghyuk Lee, Seunghyun Lee, Byung Cheol Song
• Abstract要約: モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。 CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。 実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
• 参考スコア（独自算出の注目度）: 24.19934081878197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-agnostic meta-learning (MAML) is a well-known optimization-based meta-learning algorithm that works well in various computer vision tasks, e.g., few-shot classification. MAML is to learn an initialization so that a model can adapt to a new task in a few steps. However, since the gradient norm of a classifier (head) is much bigger than those of backbone layers, the model focuses on learning the decision boundary of the classifier with similar representations. Furthermore, gradient norms of high-level layers are small than those of the other layers. So, the backbone of MAML usually learns task-generic features, which results in deteriorated adaptation performance in the inner-loop. To resolve or mitigate this problem, we propose contextual gradient scaling (CxGrad), which scales gradient norms of the backbone to facilitate learning task-specific knowledge in the inner-loop. Since the scaling factors are generated from task-conditioned parameters, gradient norms of the backbone can be scaled in a task-wise fashion. Experimental results show that CxGrad effectively encourages the backbone to learn task-specific knowledge in the inner-loop and improves the performance of MAML up to a significant margin in both same- and cross-domain few-shot classification.
• Abstract（参考訳）: Model-Agnostic Meta-learning (MAML) は、最適化に基づくメタラーニングアルゴリズムで、様々なコンピュータビジョンタスク、例えば少数ショット分類でうまく機能する。 MAMLは、モデルがいくつかのステップで新しいタスクに適応できるように初期化を学ぶことである。 しかし、分類器(ヘッド)の勾配ノルムはバックボーン層よりもはるかに大きいため、モデルでは分類器の決定境界を同様の表現で学習することに焦点を当てている。 さらに、高レベル層の勾配ノルムは他の層よりも小さい。 したがって、MAMLのバックボーンは通常タスクジェネリックな特徴を学習し、インナーループの適応性能が劣化する。 この問題を解消または緩和するために,バックボーンの勾配ノルムを拡大し,内部ループにおけるタスク固有の知識の学習を容易にするコンテキスト勾配スケーリング(CxGrad)を提案する。 スケーリング係数はタスク条件パラメータから生成されるため、バックボーンの勾配ノルムはタスク単位でスケールすることができる。 実験結果から,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促進し,MAMLの性能を同一領域とクロスドメインの両方で有意な差まで向上させることが示された。

関連論文リスト

• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Masked Image Modeling with Local Multi-Scale Reconstruction [54.91442074100597]
  Masked Image Modeling (MIM) は自己教師付き表現学習において顕著な成功を収めている。 既存のMIMモデルはエンコーダの最上層でのみ再構成タスクを実行する。 そこで我々は,下層と上層がそれぞれ微細かつ粗大な監視信号を再構成する局所的マルチスケール再構成を設計する。
  論文  参考訳（メタデータ） (2023-03-09T13:42:04Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks [0.0]
  Few-Shot Learningは、これまで見つからなかったタスクに容易に適応できるモデルをトレーニングすることを目的としている。 Model-Agnostic Meta-Learning (MAML)は、Few-Shot学習の最も一般的なアプローチの1つである。 本稿では,更新手順のトレーニングをモデルの一部として行うHyperMAMLを提案する。
  論文  参考訳（メタデータ） (2022-05-31T12:31:21Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• How Does the Task Landscape Affect MAML Performance? [42.27488241647739]
  モデル非依存メタラーニング(MAML)は非適応学習(NAL)よりも最適化が難しいことを示す。 簡単なタスクと難しいタスクの混合からなる線形回帰設定でこの問題を解析的に解決する。 また、これらの知見が2層ニューラルネットワークに適用可能であることを示唆する数値的および解析的な結果も提示する。
  論文  参考訳（メタデータ） (2020-10-27T23:54:44Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。