論文の概要: Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2208.08135v1
• Date: Wed, 17 Aug 2022 08:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 13:10:06.128266
• Title: Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning
• Title（参考訳）: 不確実性を用いたグラデーションベースメタラーニング : 数発学習における損失重み付け
• Authors: Lin Ding, Peng Liu, Wenfeng Shen, Weijia Lu, Shengbo Chen
• Abstract要約: Model-Agnostic Meta-Learning (MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 タスク固有の学習者に対して,タスクの損失を最小限に抑えるパラメータの選択を適応的に学習する手法を提案する。 メソッド1はメタロス差を比較して重みを生成し、クラスが少ない場合の精度を向上させる。 方法2は、各タスクの相補的不確実性を導入し、元の勾配降下に基づいて複数の損失を重み付けする。
• 参考スコア（独自算出の注目度）: 5.691930884128995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-Agnostic Meta-Learning (MAML) is one of the most successful meta-learning techniques for few-shot learning. It uses gradient descent to learn commonalities between various tasks, enabling the model to learn the meta-initialization of its own parameters to quickly adapt to new tasks using a small amount of labeled training data. A key challenge to few-shot learning is task uncertainty. Although a strong prior can be obtained from meta-learning with a large number of tasks, a precision model of the new task cannot be guaranteed because the volume of the training dataset is normally too small. In this study, first,in the process of choosing initialization parameters, the new method is proposed for task-specific learner adaptively learn to select initialization parameters that minimize the loss of new tasks. Then, we propose two improved methods for the meta-loss part: Method 1 generates weights by comparing meta-loss differences to improve the accuracy when there are few classes, and Method 2 introduces the homoscedastic uncertainty of each task to weigh multiple losses based on the original gradient descent,as a way to enhance the generalization ability to novel classes while ensuring accuracy improvement. Compared with previous gradient-based meta-learning methods, our model achieves better performance in regression tasks and few-shot classification and improves the robustness of the model to the learning rate and query sets in the meta-test set.
• Abstract（参考訳）: Model-Agnostic Meta-Learning (MAML)は、数ショット学習において最も成功したメタラーニング手法の1つである。 勾配降下を使用してさまざまなタスク間の共通性を学び、モデルが自身のパラメータのメタ初期化を学習し、少量のラベル付きトレーニングデータを使用して新しいタスクに迅速に適応できるようにする。 少数ショット学習における重要な課題は、タスクの不確実性である。 大量のタスクを持つメタラーニングから、強い事前知識を得ることができるが、トレーニングデータセットのボリュームが通常小さすぎるため、新しいタスクの精度モデルを保証することはできない。 本研究では,まず初期化パラメータを選択する過程で,タスク固有の学習者に対して,新しいタスクの損失を最小限に抑えるような初期化パラメータを適応的に選択する新しい手法を提案する。 そこで,2つの改良された方法を提案する。メソッド1はメタロス差を比較して重みを発生させ,クラス数が少ない場合の精度を向上させるとともに,メソッド2は各タスクの相補的不確実性を導入し,元の勾配勾配に基づいて複数の損失を重み付けし,新しいクラスへの一般化能力を向上し,精度の向上を図る。 従来の勾配型メタラーニング手法と比較して,回帰タスクの性能向上と少数ショット分類を達成し,メタテストセットの学習率と問合せ集合に対するモデルの頑健性を改善した。

関連論文リスト

• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Meta-free representation learning for few-shot learning via stochastic weight averaging [13.6555672824229]
  転写学習を用いたショット分類の最近の研究は、エピソードなメタラーニングアルゴリズムの有効性と効率に課題を提起している。 数ショットの回帰と分類のための正確で信頼性の高いモデルを得るための新しい移動学習法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T17:36:34Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
  ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。 そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
  論文  参考訳（メタデータ） (2020-09-26T19:47:38Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。