論文の概要: Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering

• arxiv url: http://arxiv.org/abs/2211.08588v1
• Date: Wed, 16 Nov 2022 00:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 14:12:18.410999
• Title: Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering
• Title（参考訳）: 自己監督型階層型タスククラスタリングによるFew-shotテキスト分類のためのディエンタングリングタスク関係
• Authors: Juan Zha, Zheng Li, Ying Wei, Yu Zhang
• Abstract要約: Few-Shot Text Classificationは、人間を模倣して、ごく少数の例で、新しいテキスト分類器を効率的に学習する。 ほとんどの以前の研究は、すべてのタスクが単一のデータソースからサンプリングされることを前提としています。 タスクの不均一性に対処する自己教師付き階層型タスククラスタリング(SS-HTC)手法を提案する。
• 参考スコア（独自算出の注目度）: 12.37413812344515
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Few-Shot Text Classification (FSTC) imitates humans to learn a new text classifier efficiently with only few examples, by leveraging prior knowledge from historical tasks. However, most prior works assume that all the tasks are sampled from a single data source, which cannot adapt to real-world scenarios where tasks are heterogeneous and lie in different distributions. As such, existing methods may suffer from their globally knowledge-shared mechanisms to handle the task heterogeneity. On the other hand, inherent task relation are not explicitly captured, making task knowledge unorganized and hard to transfer to new tasks. Thus, we explore a new FSTC setting where tasks can come from a diverse range of data sources. To address the task heterogeneity, we propose a self-supervised hierarchical task clustering (SS-HTC) method. SS-HTC not only customizes cluster-specific knowledge by dynamically organizing heterogeneous tasks into different clusters in hierarchical levels but also disentangles underlying relations between tasks to improve the interpretability. Extensive experiments on five public FSTC benchmark datasets demonstrate the effectiveness of SS-HTC.
• Abstract（参考訳）: Few-Shot Text Classification (FSTC) は、過去のタスクから事前の知識を活用することで、人間の模倣により、少数の例で新しいテキスト分類器を効率的に学習する。 しかし、ほとんどの先行研究は、タスクが異質で異なる分布にある現実のシナリオに適応できない単一のデータソースから全てのタスクがサンプリングされていると仮定している。 このように、既存の手法は、タスクの不均一性を扱うグローバルな知識共有メカニズムに悩まされる可能性がある。 一方,タスク関連性は明確には捉えられず,タスク知識が組織化されず,新たなタスクへの移行も困難である。 そこで本研究では,さまざまなデータソースからタスクを生成可能な,新たなFSTC設定を提案する。 タスクの不均一性に対処するために,自己教師付き階層型タスククラスタリング(SS-HTC)手法を提案する。 ss-htcは、異種タスクを階層レベルで異なるクラスタに動的に整理することで、クラスタ固有の知識をカスタマイズするだけでなく、タスク間の基礎的な関係を分離して解釈性を改善する。 5つの公開FSTCベンチマークデータセットに対する大規模な実験は、SS-HTCの有効性を示している。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• TaskMix: Data Augmentation for Meta-Learning of Spoken Intent Understanding [0.0]
  本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。 本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。 TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
  論文  参考訳（メタデータ） (2022-09-26T00:37:40Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Automated Self-Supervised Learning for Graphs [37.14382990139527]
  本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。 我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。 本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T03:09:20Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。