論文の概要: Meta-Learning with Context-Agnostic Initialisations

• arxiv url: http://arxiv.org/abs/2007.14658v2
• Date: Thu, 22 Oct 2020 06:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 20:28:43.264187
• Title: Meta-Learning with Context-Agnostic Initialisations
• Title（参考訳）: 文脈に依存しない初期化によるメタラーニング
• Authors: Toby Perrett, Alessandro Masullo, Tilo Burghardt, Majid Mirmehdi, Dima Damen
• Abstract要約: メタ学習プロセスにコンテキスト・逆成分を導入する。 これにより、コンテキストに依存しないタスクを一般化したターゲットへの微調整の初期化が実現される。 我々は,3つのメタ学習アルゴリズムと2つの問題に対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 86.47040878540139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning approaches have addressed few-shot problems by finding initialisations suited for fine-tuning to target tasks. Often there are additional properties within training data (which we refer to as context), not relevant to the target task, which act as a distractor to meta-learning, particularly when the target task contains examples from a novel context not seen during training. We address this oversight by incorporating a context-adversarial component into the meta-learning process. This produces an initialisation for fine-tuning to target which is both context-agnostic and task-generalised. We evaluate our approach on three commonly used meta-learning algorithms and two problems. We demonstrate our context-agnostic meta-learning improves results in each case. First, we report on Omniglot few-shot character classification, using alphabets as context. An average improvement of 4.3% is observed across methods and tasks when classifying characters from an unseen alphabet. Second, we evaluate on a dataset for personalised energy expenditure predictions from video, using participant knowledge as context. We demonstrate that context-agnostic meta-learning decreases the average mean square error by 30%.
• Abstract（参考訳）: メタラーニングアプローチは、ターゲットタスクの微調整に適した初期化を見つけることで、少数の問題に対処している。 多くの場合、トレーニングデータ(コンテキストと呼ぶ)の中に追加のプロパティがあり、ターゲットタスクとは無関係であり、特にトレーニング中に見えない新しいコンテキストの例を含んでいる場合、メタラーニングへの注意をそらす役割を果たします。 メタ学習プロセスにコンテキスト・逆成分を組み込むことで、この監視に対処する。 これにより、コンテキスト非依存とタスク一般化の両方を対象とする微調整の初期化が実現される。 我々は,3つのメタ学習アルゴリズムと2つの問題に対するアプローチを評価した。 文脈に依存しないメタラーニングはそれぞれのケースで結果を改善する。 まず,アルファベットを文脈として用い,全文の文字分類について報告する。 文字を未知のアルファベットから分類する場合、メソッドやタスク間で平均4.3%の改善が観察される。 次に,映像から個人化されたエネルギー消費予測のためのデータセットについて,参加者の知識を文脈として評価する。 文脈依存型メタラーニングは平均平均二乗誤差を30%減少させる。

関連論文リスト

• IntenDD: A Unified Contrastive Learning Approach for Intent Detection and Discovery [12.905097743551774]
  バックボーンを符号化する共有発話を利用した統一手法であるIntenDDを提案する。 IntenDDは完全に教師なしのコントラスト学習戦略を用いて表現学習を行う。 当社のアプローチは,3つのタスクのすべてにおいて,競争上のベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-10-25T16:50:24Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
  メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。 機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。 メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
  論文  参考訳（メタデータ） (2021-12-24T20:18:38Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。