論文の概要: Learning to Learn with Indispensable Connections

• arxiv url: http://arxiv.org/abs/2304.02862v1
• Date: Thu, 6 Apr 2023 04:53:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 15:15:10.067703
• Title: Learning to Learn with Indispensable Connections
• Title（参考訳）: 欠かせないつながりで学ぶことを学ぶ
• Authors: Sambhavi Tiwari, Manas Gogoi, Shekhar Verma, Krishna Pratap Singh
• Abstract要約: 本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
• 参考スコア（独自算出の注目度）: 6.040904021861969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning aims to solve unseen tasks with few labelled instances. Nevertheless, despite its effectiveness for quick learning in existing optimization-based methods, it has several flaws. Inconsequential connections are frequently seen during meta-training, which results in an over-parameterized neural network. Because of this, meta-testing observes unnecessary computations and extra memory overhead. To overcome such flaws. We propose a novel meta-learning method called Meta-LTH that includes indispensible (necessary) connections. We applied the lottery ticket hypothesis technique known as magnitude pruning to generate these crucial connections that can effectively solve few-shot learning problem. We aim to perform two things: (a) to find a sub-network capable of more adaptive meta-learning and (b) to learn new low-level features of unseen tasks and recombine those features with the already learned features during the meta-test phase. Experimental results show that our proposed Met-LTH method outperformed existing first-order MAML algorithm for three different classification datasets. Our method improves the classification accuracy by approximately 2% (20-way 1-shot task setting) for omniglot dataset.
• Abstract（参考訳）: メタラーニングは、ラベル付きインスタンスの少ない未確認タスクを解決することを目的としている。 しかし、既存の最適化手法で高速に学習できるにもかかわらず、いくつかの欠点がある。 非連続的な接続はメタトレーニング中に頻繁に見られ、結果として過度にパラメータ化されたニューラルネットワークとなる。 このため、メタテストは不要な計算と余分なメモリオーバーヘッドを観測する。 そのような欠点を克服する。 本稿では,必須(必要)接続を含むメタlthと呼ばれる新しいメタ学習手法を提案する。 そこで我々は,数点学習の課題を効果的に解決できる重要なコネクションを生成するために,マグニチュード・プルーニングとして知られる抽選券仮説手法を適用した。 私たちは2つのことを目指しています。 (a)より適応的なメタ学習が可能なサブネットワークを見つけること b) 未確認タスクの新たな低レベル機能を学び、メタテストフェーズで既に学んだ機能とそれらの機能を再結合する。 実験の結果,提案手法は3種類の分類データセットに対して,既存の一階MAMLアルゴリズムよりも優れていた。 本手法は,全文データセットの分類精度を約2%向上させる(20ウェイ1ショットタスク設定)。

関連論文リスト

• MAC: A Meta-Learning Approach for Feature Learning and Recombination [0.0]
  本稿では,ニューラルネットワークの幅-深さ双対性を呼び出すことにより,余分な計算ユニット(ACU)を追加することにより,ネットワークの幅を増大させる。 実験の結果,提案手法は,非類似タスク分布に対する既存のANILアルゴリズムを約13%上回る性能を示した。
  論文  参考訳（メタデータ） (2022-09-20T11:09:54Z)
• Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning [5.691930884128995]
  Model-Agnostic Meta-Learning (MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 タスク固有の学習者に対して,タスクの損失を最小限に抑えるパラメータの選択を適応的に学習する手法を提案する。 メソッド1はメタロス差を比較して重みを生成し、クラスが少ない場合の精度を向上させる。 方法2は、各タスクの相補的不確実性を導入し、元の勾配降下に基づいて複数の損失を重み付けする。
  論文  参考訳（メタデータ） (2022-08-17T08:11:51Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。