論文の概要: LTP: A New Active Learning Strategy for CRF-Based Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2001.02524v2
• Date: Thu, 27 Aug 2020 16:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 10:08:09.627634
• Title: LTP: A New Active Learning Strategy for CRF-Based Named Entity Recognition
• Title（参考訳）: LTP: CRFに基づく名前付きエンティティ認識のための新しいアクティブラーニング戦略
• Authors: Mingyi Liu, Zhiying Tu, Tong Zhang, Tonghua Su, Zhongjie Wang
• Abstract要約: ディープラーニングは、名前付きエンティティ認識を含む多くの自然言語処理タスクで大きな成功を収めた。 欠点は、手動でアノテートされた大量のデータが通常必要であることだ。 これまでの研究では、アクティブな学習がデータコストを精巧に削減できることを示したが、改善の余地はまだまだたくさんある。
• 参考スコア（独自算出の注目度）: 11.556127611163204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep learning has achieved great success in many natural language processing tasks including named entity recognition. The shortcoming is that a large amount of manually-annotated data is usually required. Previous studies have demonstrated that active learning could elaborately reduce the cost of data annotation, but there is still plenty of room for improvement. In real applications we found existing uncertainty-based active learning strategies have two shortcomings. Firstly, these strategies prefer to choose long sequence explicitly or implicitly, which increase the annotation burden of annotators. Secondly, some strategies need to invade the model and modify to generate some additional information for sample selection, which will increase the workload of the developer and increase the training/prediction time of the model. In this paper, we first examine traditional active learning strategies in a specific case of BiLstm-CRF that has widely used in named entity recognition on several typical datasets. Then we propose an uncertainty-based active learning strategy called Lowest Token Probability (LTP) which combines the input and output of CRF to select informative instance. LTP is simple and powerful strategy that does not favor long sequences and does not need to invade the model. We test LTP on multiple datasets, and the experiments show that LTP performs slightly better than traditional strategies with obviously less annotation tokens on both sentence-level accuracy and entity-level F1-score. Related code have been release on https://github.com/HIT-ICES/AL-NER
• Abstract（参考訳）: 近年、ディープラーニングは、名前付きエンティティ認識を含む多くの自然言語処理タスクで大きな成功を収めている。 欠点は、手動で注釈付けされた大量のデータが必要であることだ。 これまでの研究では、アクティブラーニングはデータアノテーションのコストを精巧に削減できるが、改善の余地は十分にある。 実際のアプリケーションでは、既存の不確実性ベースのアクティブラーニング戦略には2つの欠点があることがわかった。 第一に、これらの戦略は、アノテータのアノテーション負担を増加させる長いシーケンスを明示的にまたは暗黙的に選択することを好む。 第二に、いくつかの戦略がモデルに侵入し、サンプル選択のための追加情報を生成する必要があるため、開発者の作業量を増やし、モデルのトレーニング/予測時間を増加させる。 本稿では,いくつかの典型的なデータセット上で名前付きエンティティ認識に広く使われているbilstm-crfの特定のケースにおいて,従来のアクティブラーニング戦略を初めて検討する。 そこで我々は,CRFの入力と出力を組み合わせて情報的事例を選択する,LTP(Lowest Token Probability)と呼ばれる不確実性に基づくアクティブラーニング戦略を提案する。 LTPは単純で強力な戦略であり、長いシーケンスを好まないし、モデルに侵入する必要もない。 我々は複数のデータセット上でLTPをテストし、実験の結果、LTPは従来の戦略よりも若干優れており、明らかに文レベルの精度とエンティティレベルのF1スコアの両方でアノテーショントークンが少ないことが判明した。 関連コードはhttps://github.com/HIT-ICES/AL-NERでリリースされた。

関連論文リスト

• Test-Time Training on Graphs with Large Language Models (LLMs) [68.375487369596]
  グラフニューラルネットワーク(GNN)をトレーニングするための有望なアプローチとして,TTT(Test-Time Training)が提案されている。 テキスト分散グラフ(TAG)上でのLLM(Large Language Models)の優れたアノテーション能力に着想を得て,LLMをアノテータとしてグラフ上でのテスト時間トレーニングを強化することを提案する。 2段階のトレーニング戦略は、限定的でノイズの多いラベルでテストタイムモデルを調整するように設計されている。
  論文  参考訳（メタデータ） (2024-04-21T08:20:02Z)
• Conditional Prototype Rectification Prompt Learning [32.533844163120875]
  本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。 CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-15T15:43:52Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• MoBYv2AL: Self-supervised Active Learning for Image Classification [57.4372176671293]
  画像分類のための自己教師型アクティブラーニングフレームワークであるMoBYv2ALを提案する。 私たちの貢献は、最も成功した自己教師付き学習アルゴリズムであるMoBYをALパイプラインに持ち上げることです。 近年のAL法と比較すると,最先端の結果が得られている。
  論文  参考訳（メタデータ） (2023-01-04T10:52:02Z)
• An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
  法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。 我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。 分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-15T13:07:02Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
  アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。 BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。 他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
  論文  参考訳（メタデータ） (2020-10-19T14:09:17Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。