論文の概要: Can You Label Less by Using Out-of-Domain Data? Active & Transfer Learning with Few-shot Instructions

• arxiv url: http://arxiv.org/abs/2211.11798v1
• Date: Mon, 21 Nov 2022 19:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 16:32:52.370917
• Title: Can You Label Less by Using Out-of-Domain Data? Active & Transfer Learning with Few-shot Instructions
• Title（参考訳）: ドメイン外のデータを使ってラベルを下げられるか? ファウショットインストラクションによるアクティブ・アンド・トランスファー学習
• Authors: Rafal Kocielnik, Sara Kangaslahti, Shrimai Prabhumoye, Meena Hari, R. Michael Alvarez, Anima Anandkumar
• Abstract要約: そこで本研究では, 微調整を必要としない, アクティブトランスファーファウショットインストラクション (ATF) アプローチを提案する。 ATFは、事前訓練された言語モデル(PLM)の内部言語知識を活用し、情報の伝達を容易にする。 アクティブラーニングによる少数の対象ドメインサンプルのアノテーションは、転送に有用であるが、アノテーションの取り組みによって影響は減少する。
• 参考スコア（独自算出の注目度）: 58.69255121795761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Labeling social-media data for custom dimensions of toxicity and social bias is challenging and labor-intensive. Existing transfer and active learning approaches meant to reduce annotation effort require fine-tuning, which suffers from over-fitting to noise and can cause domain shift with small sample sizes. In this work, we propose a novel Active Transfer Few-shot Instructions (ATF) approach which requires no fine-tuning. ATF leverages the internal linguistic knowledge of pre-trained language models (PLMs) to facilitate the transfer of information from existing pre-labeled datasets (source-domain task) with minimum labeling effort on unlabeled target data (target-domain task). Our strategy can yield positive transfer achieving a mean AUC gain of 10.5% compared to no transfer with a large 22b parameter PLM. We further show that annotation of just a few target-domain samples via active learning can be beneficial for transfer, but the impact diminishes with more annotation effort (26% drop in gain between 100 and 2000 annotated examples). Finally, we find that not all transfer scenarios yield a positive gain, which seems related to the PLMs initial performance on the target-domain task.
• Abstract（参考訳）: 毒性と社会的偏見のカスタム次元に関するソーシャルメディアデータのラベル付けは困難であり、労働集約的である。 既存の転送とアクティブな学習アプローチは、アノテーションの労力を減らすために微調整が必要であり、ノイズへの過度な適合に悩まされ、小さなサンプルサイズでドメインシフトを引き起こす可能性がある。 本研究では, ファインチューニングを必要としない新しいアクティブトランスファーファウショットインストラクション(ATF)手法を提案する。 ATFは、事前訓練された言語モデル(PLM)の内部言語知識を活用し、既存の事前ラベル付きデータセット(ソースドメインタスク)からの情報を、未ラベルのターゲットデータ(ターゲットドメインタスク)に最小限のラベル付け作業で転送する。 当社の戦略では,22b パラメータ PLM の転送を全く行わず,平均 AUC ゲインを 10.5% とする正の転送が可能である。 さらに、アクティブラーニングによる少数のターゲットドメインサンプルのアノテーションは、移行に有用であるが、アノテーションの取り組みによって影響は減少する(100から2000の注釈付き例では26%の減少)。 最後に、全ての転送シナリオが正のゲインをもたらすわけではなく、ターゲットドメインタスクにおけるPLMの初期性能に関係していると考えられる。

関連論文リスト

• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
  法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。 我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。 分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-15T13:07:02Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Textual Entailment for Event Argument Extraction: Zero- and Few-Shot with Multi-Source Learning [22.531385318852426]
  近年の研究では,NLPタスクを文章化を用いてテキスト・エンターテイメント・タスクとして再キャストできることが示されている。 イベント引数抽出(EAE)においてもエンテーメントが有効であることを示し,手作業によるアノテーションの必要性を50%と20%に削減した。
  論文  参考訳（メタデータ） (2022-05-03T08:53:55Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Multi-Stage Pre-training for Low-Resource Domain Adaptation [24.689862495171408]
  現在のアプローチは、ダウンストリームタスクに微調整する前に、ドメイン内のテキストに事前訓練された言語モデル(LM)を直接適用する。 LMの語彙をドメイン固有の用語で拡張することは、さらなる利益をもたらすことを示す。 我々は、これらのアプローチをトレーニング済みのRoberta-large LMに漸進的に適用し、IT領域の3つのタスクでかなりのパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2020-10-12T17:57:00Z)
• Continuous Transfer Learning with Label-informed Distribution Alignment [42.34180707803632]
  時間発展ターゲット領域を持つ新しい連続移動学習環境について検討する。 連続移動学習に関連する大きな課題の1つは、負転移の発生の可能性である。 本稿では,TransLATE という汎用逆変分自動エンコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-05T04:44:58Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。