論文の概要: DALLMi: Domain Adaption for LLM-based Multi-label Classifier

• arxiv url: http://arxiv.org/abs/2405.01883v1
• Date: Fri, 3 May 2024 07:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 13:35:25.947991
• Title: DALLMi: Domain Adaption for LLM-based Multi-label Classifier
• Title（参考訳）: DALLMi: LLMに基づくマルチラベル分類のためのドメイン適応
• Authors: Miruna Beţianu, Abele Mălan, Marco Aldinucci, Robert Birke, Lydia Chen,
• Abstract要約: DALLMiは、大規模言語モデル(LLM)に基づくテキストデータモデルのための、一級半教師付きドメイン適応法である。 DALLMiの中核は、新しい変分損失とMixUp正規化であり、限定された正のラベル付きと大量の未ラベルのテキストを共同で活用している。 その結果, DALLMiは, 教師なしアプローチや部分教師なしアプローチよりも, 19.9%, 52.2%高いmAPを達成できた。
• 参考スコア（独自算出の注目度）: 1.8591382919263346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly serve as the backbone for classifying text associated with distinct domains and simultaneously several labels (classes). When encountering domain shifts, e.g., classifier of movie reviews from IMDb to Rotten Tomatoes, adapting such an LLM-based multi-label classifier is challenging due to incomplete label sets at the target domain and daunting training overhead. The existing domain adaptation methods address either image multi-label classifiers or text binary classifiers. In this paper, we design DALLMi, Domain Adaptation Large Language Model interpolator, a first-of-its-kind semi-supervised domain adaptation method for text data models based on LLMs, specifically BERT. The core of DALLMi is the novel variation loss and MixUp regularization, which jointly leverage the limited positively labeled and large quantity of unlabeled text and, importantly, their interpolation from the BERT word embeddings. DALLMi also introduces a label-balanced sampling strategy to overcome the imbalance between labeled and unlabeled data. We evaluate DALLMi against the partial-supervised and unsupervised approach on three datasets under different scenarios of label availability for the target domain. Our results show that DALLMi achieves higher mAP than unsupervised and partially-supervised approaches by 19.9% and 52.2%, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、異なるドメインと複数のラベル(クラス)に関連付けられたテキストを分類するバックボーンとして機能するようになっている。 ドメインシフトに遭遇した場合、例えばIMDbからRotten Tomatoesへの映画レビューの分類器、LLMベースのマルチラベル分類器は、ターゲットドメインにおける不完全なラベルセットと、トレーニングのオーバーヘッドにより困難である。 既存のドメイン適応手法は、イメージマルチラベル分類器またはテキストバイナリ分類器に対処する。 本稿では,LLM,特にBERTをベースとしたテキストデータモデルの半教師付きドメイン適応手法であるDALLMi, Domain Adaptation Large Language Modelinterpolatorを設計する。 DALLMiの中核は、新規な変分損失とMixUp正規化であり、これは、限定された正のラベル付きおよび大量のラベルなしテキストと、BERT単語の埋め込みからの補間を併用するものである。 DALLMiはラベル付きデータとラベルなしデータの不均衡を克服するためのラベルバランスのサンプリング戦略も導入している。 我々はDALLMiを、ターゲットドメインのラベル可用性の異なるシナリオの下で、3つのデータセットに対する部分教師付きおよび教師なしのアプローチに対して評価する。 その結果, DALLMiは, 教師なしアプローチや部分教師なしアプローチよりも, 19.9%, 52.2%高いmAPを達成できた。

関連論文リスト

• Inter-Domain Mixup for Semi-Supervised Domain Adaptation [108.40945109477886]
  半教師付きドメイン適応(SSDA)は、ソースとターゲットのドメイン分布をブリッジすることを目的としており、少数のターゲットラベルが利用可能である。 既存のSSDAの作業は、ソースドメインとターゲットドメインの両方からラベル情報をフル活用して、ドメイン間の機能アライメントに失敗する。 本稿では,新しいSSDA手法であるIDMNE(Inter-domain Mixup with Neighborhood Expansion)を提案する。
  論文  参考訳（メタデータ） (2024-01-21T10:20:46Z)
• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• Multi-Level Features Contrastive Networks for Unsupervised Domain Adaptation [6.934905764152813]
  教師なしのドメイン適応は、ラベル付きソースドメインからモデルをトレーニングし、ラベルなしのターゲットドメインで予測することを目的としています。 既存のメソッドは2つのドメインをドメインレベルに直接アライメントするか、あるいは深い機能に基づいてクラスレベルのドメインアライメントを実行する傾向があります。 本稿では,クラスレベルのアライメント手法について述べる。
  論文  参考訳（メタデータ） (2021-09-14T09:23:27Z)
• Cross-Domain Adaptive Clustering for Semi-Supervised Domain Adaptation [85.6961770631173]
  半監視されたドメイン適応では、残りのターゲットサンプルのターゲットドメインガイド機能内のクラスごとのいくつかのラベル付きサンプルが、その周辺に集約される。 この問題に対処するために,クロスドメイン適応クラスタリングという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-19T16:07:32Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
  Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。 最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。 疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-23T07:57:39Z)
• Select, Label, and Mix: Learning Discriminative Invariant Feature Representations for Partial Domain Adaptation [55.73722120043086]
  部分領域適応のための識別的不変特徴表現を学習するための「選択、ラベル、混合(SLM)」フレームワークを開発した。 まず, 正の移動を避けるために, 外部からのサンプルを自動的にフィルタする, 単純で効率的な「選択」モジュールを提案する。 次に、「ラベル」モジュールは、ラベル付きソースドメインデータと生成されたターゲットドメインの擬似ラベルの両方を用いて分類器を反復的に訓練し、潜在空間の識別性を高める。
  論文  参考訳（メタデータ） (2020-12-06T19:29:32Z)
• Domain Generalization via Semi-supervised Meta Learning [7.722498348924133]
  ラベルのないサンプルを活用するための領域一般化法を提案する。 メタ学習アプローチによってトレーニングされ、入力されたソースドメインと見えないターゲットドメイン間の分散シフトを模倣する。 ベンチマークデータセットによる実験結果から,DGは最先端領域の一般化や半教師付き学習方法よりも優れていた。
  論文  参考訳（メタデータ） (2020-09-26T18:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。