論文の概要: Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2007.06240v1
• Date: Mon, 13 Jul 2020 08:49:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:40:26.222930
• Title: Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification
• Title（参考訳）: エキスパートトレーニング:タスクのハードネスを意識したメタラーニング
• Authors: Yucan Zhou, Yu Wang, Jianfei Cai, Yu Zhou, Qinghua Hu, Weiping Wang
• Abstract要約: そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 62.10696018098057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are highly effective when a large number of labeled samples are available but fail with few-shot classification tasks. Recently, meta-learning methods have received much attention, which train a meta-learner on massive additional tasks to gain the knowledge to instruct the few-shot classification. Usually, the training tasks are randomly sampled and performed indiscriminately, often making the meta-learner stuck into a bad local optimum. Some works in the optimization of deep neural networks have shown that a better arrangement of training data can make the classifier converge faster and perform better. Inspired by this idea, we propose an easy-to-hard expert meta-training strategy to arrange the training tasks properly, where easy tasks are preferred in the first phase, then, hard tasks are emphasized in the second phase. A task hardness aware module is designed and integrated into the training procedure to estimate the hardness of a task based on the distinguishability of its categories. In addition, we explore multiple hardness measurements including the semantic relation, the pairwise Euclidean distance, the Hausdorff distance, and the Hilbert-Schmidt independence criterion. Experimental results on the miniImageNet and tieredImageNetSketch datasets show that the meta-learners can obtain better results with our expert training strategy.
• Abstract（参考訳）: ディープニューラルネットワークは、多くのラベル付きサンプルが利用可能だが、少数の分類タスクで失敗する場合に非常に効果的である。 近年,メタラーニング手法が注目され,大量の追加タスクを学習し,マイナショット分類を指導する知識を得た。 通常、トレーニングタスクはランダムにサンプリングされ、無差別に実行される。 ディープニューラルネットワークの最適化におけるいくつかの研究は、より優れたトレーニングデータの配置により、分類器の収束が早くなり、性能が向上することを示した。 このアイデアに触発されて,第1フェーズでは簡単なタスクが優先され,第2フェーズでは難しいタスクが強調される,訓練タスクを適切に手配する,簡単な専門家によるメタトレーニング戦略を提案する。 タスクハードネス認識モジュールは、そのカテゴリの識別性に基づいてタスクのハードネスを推定するために、トレーニング手順に設計および統合される。 さらに, 意味関係, 対ユークリッド距離, ハウスドルフ距離, ヒルベルト・シュミット独立基準を含む複数の硬度測定について検討した。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。

関連論文リスト

• CPT: Competence-progressive Training Strategy for Few-shot Node Classification [11.17199104891692]
  グラフニューラルネットワーク(GNN)はノード分類に大きな進歩を遂げているが、その成功はトレーニングデータ内のクラス毎の十分なラベル付きノードに依存している。 伝統的なエピソディックなメタラーニングアプローチはこの領域で有望であるが、固有の制限に直面している。 メタラーナーのプログレッシブ・コンピテンスにタスクの難易度を合わせる2段階のカリキュラム学習手法であるCPTを紹介する。
  論文  参考訳（メタデータ） (2024-02-01T09:36:56Z)
• Episodic-free Task Selection for Few-shot Learning [2.508902852545462]
  エピソードトレーニング以外の新しいメタトレーニングフレームワークを提案する。 エピソード・タスクは直接訓練に使用されるのではなく、選択されたエピソード・フリー・タスクの有効性を評価するために用いられる。 実験では、トレーニングタスクセットには、例えば、コントラスト学習や分類など、いくつかの有望なタイプが含まれている。
  論文  参考訳（メタデータ） (2024-01-31T10:52:15Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• MetaGater: Fast Learning of Conditional Channel Gated Networks via Federated Meta-Learning [46.79356071007187]
  本稿では,バックボーンネットワークとチャネルゲーティングを協調的にトレーニングするための総合的なアプローチを提案する。 我々は,バックボーンネットワークとゲーティングモジュールの両方において,優れたメタ初期化を共同で学習するための,連携型メタ学習手法を開発した。
  論文  参考訳（メタデータ） (2020-11-25T04:26:23Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。