論文の概要: Combat Data Shift in Few-shot Learning with Knowledge Graph

• arxiv url: http://arxiv.org/abs/2101.11354v1
• Date: Wed, 27 Jan 2021 12:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 19:27:04.801282
• Title: Combat Data Shift in Few-shot Learning with Knowledge Graph
• Title（参考訳）: ナレッジグラフを用いたフェーショット学習におけるコンバットデータシフト
• Authors: Yongchun zhu, Fuzhen Zhuang, Xiangliang Zhang, Zhiyuan Qi, Zhiping Shi and Qing He
• Abstract要約: 現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。 既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。 本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 42.59886121530736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many few-shot learning approaches have been designed under the meta-learning framework, which learns from a variety of learning tasks and generalizes to new tasks. These meta-learning approaches achieve the expected performance in the scenario where all samples are drawn from the same distributions (i.i.d. observations). However, in real-world applications, few-shot learning paradigm often suffers from data shift, i.e., samples in different tasks, even in the same task, could be drawn from various data distributions. Most existing few-shot learning approaches are not designed with the consideration of data shift, and thus show downgraded performance when data distribution shifts. However, it is non-trivial to address the data shift problem in few-shot learning, due to the limited number of labeled samples in each task. Targeting at addressing this problem, we propose a novel metric-based meta-learning framework to extract task-specific representations and task-shared representations with the help of knowledge graph. The data shift within/between tasks can thus be combated by the combination of task-shared and task-specific representations. The proposed model is evaluated on popular benchmarks and two constructed new challenging datasets. The evaluation results demonstrate its remarkable performance.
• Abstract（参考訳）: 多くの数ショット学習アプローチはメタラーニングフレームワークの下で設計されており、さまざまな学習タスクから学び、新しいタスクに一般化します。 これらのメタラーニングアプローチは、すべてのサンプルが同じ分布(すなわちd)から引き出されるシナリオで期待されるパフォーマンスを実現する。 観察)。 しかし、現実世界のアプリケーションでは、少ないショット学習パラダイムはデータシフトに苦しむことが少なく、例えば、同じタスクでも異なるタスクのサンプルは、さまざまなデータ分散から引き出すことができる。 既存の数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていないため、データ分散が変化するとパフォーマンスが低下します。 しかしながら、各タスクのラベル付きサンプル数が限られているため、少ないショット学習でデータシフト問題に対処するのは自明ではない。 この問題に対処するために,知識グラフの助けを借りて,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。 したがって、タスク内/タスク間のデータシフトは、タスク共有表現とタスク固有表現の組み合わせによって対処できる。 提案モデルは、人気のあるベンチマークと2つの新しい挑戦的データセットで評価される。 評価結果は顕著な性能を示した。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Mixture of basis for interpretable continual learning with distribution shifts [1.6114012813668934]
  データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。 本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
  論文  参考訳（メタデータ） (2022-01-05T22:53:15Z)
• Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
  最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。 トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。 我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-11T02:35:42Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。