論文の概要: Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient

• arxiv url: http://arxiv.org/abs/2011.13570v1
• Date: Fri, 27 Nov 2020 06:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:20:06.406964
• Title: Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
• Title（参考訳）: 勾配の多様性と不確かさに基づくシーケンスラベリングのための深層能動的学習
• Authors: Yekyung Kim
• Abstract要約: シーケンスラベリングタスクにおいて、不確実性と多様性の両方を組み込んだ場合、アクティブラーニングを用いてラベル付きトレーニングデータの量を削減することができることを示す。 我々は,複数のタスク,データセット,モデル,そして古典的不確実性に基づくサンプリングと多様性に基づくサンプリングを一貫して上回る勾配埋め込みアプローチにおいて,重み付けされた多様性を選択することで,シーケンスベースアプローチの効果を検討した。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, several studies have investigated active learning (AL) for natural language processing tasks to alleviate data dependency. However, for query selection, most of these studies mainly rely on uncertainty-based sampling, which generally does not exploit the structural information of the unlabeled data. This leads to a sampling bias in the batch active learning setting, which selects several samples at once. In this work, we demonstrate that the amount of labeled training data can be reduced using active learning when it incorporates both uncertainty and diversity in the sequence labeling task. We examined the effects of our sequence-based approach by selecting weighted diverse in the gradient embedding approach across multiple tasks, datasets, models, and consistently outperform classic uncertainty-based sampling and diversity-based sampling.
• Abstract（参考訳）: 近年,自然言語処理タスクのアクティブラーニング(al)によるデータ依存の軽減が研究されている。 しかし、クエリ選択においては、ほとんどの研究は、主に不確実性に基づくサンプリングに依存しており、一般にラベルなしデータの構造情報を活用していない。 これにより、バッチアクティブな学習設定におけるサンプリングバイアスが発生し、同時に複数のサンプルを選択する。 本研究では,シーケンスラベリングタスクに不確実性と多様性の両方を組み込んだ場合,アクティブラーニングを用いてラベル付きトレーニングデータの量を削減できることを実証する。 我々は,複数のタスク,データセット,モデルにまたがる勾配埋め込みアプローチにおいて,重み付けされた多様性を選択することでシーケンスベースアプローチの効果を検討した。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning [57.436224561482966]
  アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。 アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。 また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:11:55Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Influence Selection for Active Learning [18.84939869188145]
  モデル性能に最も好意的な影響を与える未ラベルサンプルを選定するISAL(Empfect Selection for Active Learning)を提案する。 ISALは、異なるデータセットで異なるタスクに対して異なるアクティブな学習設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-08-20T18:44:52Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
  教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。 メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
  論文  参考訳（メタデータ） (2020-09-10T15:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。