論文の概要: Generating meta-learning tasks to evolve parametric loss for classification learning

• arxiv url: http://arxiv.org/abs/2111.10583v1
• Date: Sat, 20 Nov 2021 13:07:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 14:10:49.302966
• Title: Generating meta-learning tasks to evolve parametric loss for classification learning
• Title（参考訳）: 分類学習のためのパラメトリック損失を進化させるメタラーニングタスクの生成
• Authors: Zhaoyang Hai, Xiabi Liu, Yuchen Ren, Nouman Q. Soomro
• Abstract要約: 既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
• 参考スコア（独自算出の注目度）: 1.1355370218310157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of meta-learning has seen a dramatic rise in interest in recent years. In existing meta-learning approaches, learning tasks for training meta-models are usually collected from public datasets, which brings the difficulty of obtaining a sufficient number of meta-learning tasks with a large amount of training data. In this paper, we propose a meta-learning approach based on randomly generated meta-learning tasks to obtain a parametric loss for classification learning based on big data. The loss is represented by a deep neural network, called meta-loss network (MLN). To train the MLN, we construct a large number of classification learning tasks through randomly generating training data, validation data, and corresponding ground-truth linear classifier. Our approach has two advantages. First, sufficient meta-learning tasks with large number of training data can be obtained easily. Second, the ground-truth classifier is given, so that the difference between the learned classifier and the ground-truth model can be measured to reflect the performance of MLN more precisely than validation accuracy. Based on this difference, we apply the evolutionary strategy algorithm to find out the optimal MLN. The resultant MLN not only leads to satisfactory learning effects on generated linear classifier learning tasks for testing, but also behaves very well on generated nonlinear classifier learning tasks and various public classification tasks. Our MLN stably surpass cross-entropy (CE) and mean square error (MSE) in testing accuracy and generalization ability. These results illustrate the possibility of achieving satisfactory meta-learning effects using generated learning tasks.
• Abstract（参考訳）: メタラーニングの分野は近年劇的に関心が高まっている。 既存のメタラーニングアプローチでは、トレーニングのための学習タスクは通常、公開データセットから収集されるため、大量のトレーニングデータで十分な数のメタラーニングタスクを取得することが困難になる。 本稿では,無作為なメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。 この損失はメタロスネットワーク(MLN)と呼ばれるディープニューラルネットワークによって表現される。 MLNを学習するために,学習データ,検証データ,および対応する接地トラス線形分類器をランダムに生成することにより,多数の分類学習タスクを構築する。 我々のアプローチには2つの利点がある。 まず、トレーニングデータの多い十分なメタ学習タスクを容易に得ることができる。 次に、学習した分類器と地中モデルとの差を計測し、mlnの性能を検証精度よりも正確に反映するように地中分類器を付与する。 この差に基づき、最適なMLNを求めるために進化戦略アルゴリズムを適用した。 その結果、MLNは、線形分類器学習タスクの生成に十分な学習効果をもたらすだけでなく、生成された非線形分類器学習タスクや様々な公共分類タスクにも非常にうまく振る舞う。 MLNはクロスエントロピー(CE)と平均二乗誤差(MSE)を安定的に上回り、精度と一般化能力をテストする。 これらの結果から,生成学習タスクを用いたメタラーニング効果が満足できる可能性が示唆された。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning [16.534014215010757]
  トレーニングサンプルの潜在表現を学習するために,一発の教師なしメタラーニングを提案する。 メタラーニングの内ループでは、温度スケールのクロスエントロピー損失を使用し、オーバーフィッティングを防止する。 提案手法はモデル非依存であり, どんなメタ学習モデルでも精度を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-19T18:25:22Z)
• Understanding Transfer Learning and Gradient-Based Meta-Learning Techniques [5.2997197698288945]
  我々は、ファイン、MAML、およびReptileと呼ばれる別のメタラーニング手法の性能差について検討する。 以上の結果から,MAMLの特殊化を促進する上では,データ不足による出力層とノイズの多い訓練条件の両方が重要な役割を担っていることが示唆された。 これらの特徴は,MAML や Reptile が学習した特徴よりも多様で差別的であることを示す。
  論文  参考訳（メタデータ） (2023-10-09T20:51:49Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
  我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。 本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-01-28T00:19:13Z)
• Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
  そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-13T08:49:00Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。