論文の概要: Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks
- arxiv url: http://arxiv.org/abs/2410.10454v1
- Date: Mon, 14 Oct 2024 12:47:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:34:52.230758
- Title: Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks
- Title（参考訳）: タスクから得られるものすべてを用いたFew-Shotテキスト分類のためのメタラーニングの改善
- Authors: Xinyue Liu, Yunlong Gao, Linlin Zong, Bo Xu,
- Abstract要約: 既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。
近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。
本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
- 参考スコア（独自算出の注目度）: 10.556477506959888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning has emerged as a prominent technology for few-shot text classification and has achieved promising performance. However, existing methods often encounter difficulties in drawing accurate class prototypes from support set samples, primarily due to probable large intra-class differences and small inter-class differences within the task. Recent approaches attempt to incorporate external knowledge or pre-trained language models to augment data, but this requires additional resources and thus does not suit many few-shot scenarios. In this paper, we propose a novel solution to address this issue by adequately leveraging the information within the task itself. Specifically, we utilize label information to construct a task-adaptive metric space, thereby adaptively reducing the intra-class differences and magnifying the inter-class differences. We further employ the optimal transport technique to estimate class prototypes with query set samples together, mitigating the problem of inaccurate and ambiguous support set samples caused by large intra-class differences. We conduct extensive experiments on eight benchmark datasets, and our approach shows obvious advantages over state-of-the-art models across all the tasks on all the datasets. For reproducibility, all the datasets and codes are available at https://github.com/YvoGao/LAQDA.
- Abstract（参考訳）: メタラーニングは、数ショットのテキスト分類において顕著な技術として登場し、有望なパフォーマンスを達成した。
しかし、既存の手法では、サポートセットのサンプルから正確なクラスプロトタイプを作成するのが困難である場合が多く、主に、大きなクラス内差と、タスク内のクラス間差が小さいためである。
最近のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、これは追加のリソースを必要とするため、いくつかのシナリオには適さない。
本稿では,タスク自体の情報を適切に活用して,この問題に対処する新しいソリューションを提案する。
具体的には,ラベル情報を用いてタスク適応距離空間を構築し,クラス内差を適応的に低減し,クラス間差を増大させる。
さらに,クエリセットのサンプルを用いてクラスプロトタイプを推定し,クラス内での大きな違いに起因する不正確で曖昧なサポートセットの問題を緩和するために,最適なトランスポート手法を用いる。
8つのベンチマークデータセットに対して広範な実験を行い、我々のアプローチは、すべてのデータセット上のすべてのタスクに対して、最先端のモデルよりも明らかなアドバンテージを示す。
再現性のために、すべてのデータセットとコードはhttps://github.com/YvoGao/LAQDA.comで入手できる。
関連論文リスト
- Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。
本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。
提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文 参考訳（メタデータ） (2024-08-29T12:34:01Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - infoVerse: A Universal Framework for Dataset Characterization with
Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。
infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。
実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2023-05-30T18:12:48Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳（メタデータ） (2022-02-07T13:08:11Z) - Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。
既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。
本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-27T12:35:18Z) - Adaptive Prototypical Networks with Label Words and Joint Representation
Learning for Few-Shot Relation Classification [17.237331828747006]
本研究は,少ショット関係分類(FSRC)に焦点を当てる。
クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。
FewRelでは、異なる数ショット(FS)設定で実験が行われた。
論文 参考訳（メタデータ） (2021-01-10T11:25:42Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine
Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。
本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ
画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
論文 参考訳（メタデータ） (2020-07-11T03:44:21Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳（メタデータ） (2020-06-12T22:45:47Z) - Task-Adaptive Clustering for Semi-Supervised Few-Shot Classification [23.913195015484696]
未確認のタスクを、少量の新しいトレーニングデータだけで処理することを目的としている。
しかし、数ショットの学習者が準備(メタトレーニング)する際には、大量のラベル付きデータが必要である。
そこで本研究では,トレーニングデータの大部分がラベル付けされていない半教師付き環境下で動作可能な,数発の学習者を提案する。
論文 参考訳（メタデータ） (2020-03-18T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。