論文の概要: ACLM: A Selective-Denoising based Generative Data Augmentation Approach
for Low-Resource Complex NER
- arxiv url: http://arxiv.org/abs/2306.00928v1
- Date: Thu, 1 Jun 2023 17:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:07:33.058258
- Title: ACLM: A Selective-Denoising based Generative Data Augmentation Approach
for Low-Resource Complex NER
- Title（参考訳）: ACLM: 低リソース複合NERのための選択分解型生成データ拡張手法
- Authors: Sreyan Ghosh and Utkarsh Tyagi and Manan Suri and Sonal Kumar and S
Ramaneswaran and Dinesh Manocha
- Abstract要約: 本稿では、条件付き言語モデルファインチューニングのためのACLM注意マップ対応キーワード選択について述べる。
ACLMは、既存のNERデータ拡張技術が抱える問題であるコンテキストエンティリティミスマッチ問題を緩和する。
本稿では,ACLMがモノリンガル,クロスリンガル,多言語複合NERに対して質的かつ定量的に有効であることを示す。
- 参考スコア（独自算出の注目度）: 47.32935969127478
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Complex Named Entity Recognition (NER) is the task of detecting
linguistically complex named entities in low-context text. In this paper, we
present ACLM Attention-map aware keyword selection for Conditional Language
Model fine-tuning), a novel data augmentation approach based on conditional
generation to address the data scarcity problem in low-resource complex NER.
ACLM alleviates the context-entity mismatch issue, a problem existing NER data
augmentation techniques suffer from and often generates incoherent
augmentations by placing complex named entities in the wrong context. ACLM
builds on BART and is optimized on a novel text reconstruction or denoising
task - we use selective masking (aided by attention maps) to retain the named
entities and certain keywords in the input sentence that provide contextually
relevant additional knowledge or hints about the named entities. Compared with
other data augmentation strategies, ACLM can generate more diverse and coherent
augmentations preserving the true word sense of complex entities in the
sentence. We demonstrate the effectiveness of ACLM both qualitatively and
quantitatively on monolingual, cross-lingual, and multilingual complex NER
across various low-resource settings. ACLM outperforms all our neural baselines
by a significant margin (1%-36%). In addition, we demonstrate the application
of ACLM to other domains that suffer from data scarcity (e.g., biomedical). In
practice, ACLM generates more effective and factual augmentations for these
domains than prior methods. Code: https://github.com/Sreyan88/ACLM
- Abstract（参考訳）: 複雑な名前付きエンティティ認識(英: Complex Named Entity Recognition, NER)は、低文脈テキストにおける言語的に複雑な名前付きエンティティを検出するタスクである。
本稿では,低リソース複合NERにおけるデータ不足問題に対処するため,条件生成に基づく新しいデータ拡張手法であるACLM Attention-map aware keyword selection for Conditional Language Model fine-tuningを提案する。
ACLMは、複雑な名前のエンティティを間違ったコンテキストに配置することで、既存のNERデータ拡張技術に悩まされ、しばしば一貫性のない拡張を生成する、コンテキストエンタリティミスマッチ問題を緩和する。
aclmはbart上に構築されており、新しいテキストの再構成やノイズ除去タスクに最適化されている。 私たちは、名前付きエンティティと特定のキーワードを保持するために選択的マスク(注意マップによる支援)を使用し、文脈的に関連する追加知識や名前付きエンティティのヒントを提供する。
他のデータ拡張戦略と比較して、ACLMは文中の複雑な実体の真の単語感覚を保ったより多様で一貫性のある拡張を生成することができる。
各種低リソース環境における単言語・クロスランガル・多言語複合NERにおけるACLMの有効性について検討した。
ACLMは、すべての神経ベースラインを1%-36%の差で上回ります。
さらに,データ不足に苦しむ他の領域(バイオメディカルなど)に対するaclmの適用例を示す。
実際、aclmは、これらのドメインに対して、以前のメソッドよりも効果的で事実的な拡張を生成する。
コード: https://github.com/sreyan88/aclm
関連論文リスト
- Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。
DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。
私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
論文 参考訳（メタデータ） (2024-10-17T04:00:29Z) - Contextualization of ASR with LLM using phonetic retrieval-based augmentation [8.823596907304944]
大規模言語モデル(LLM)を文脈化するための検索に基づくソリューションを提案する。
まず、LLMが音声中の名前付きエンティティを文脈なしに検出し、この名前付きエンティティをクエリとして使用して、個人データベースから音声的に類似した名前付きエンティティを検索する。
音声アシスタントタスクでは,単語誤り率を最大30.2%,エンティティエラー率を73.6%削減した。
論文 参考訳（メタデータ） (2024-09-11T18:32:38Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。
本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
論文 参考訳（メタデータ） (2024-03-17T06:12:43Z) - Large Language Models are Efficient Learners of Noise-Robust Speech
Recognition [65.95847272465124]
大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。
本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。
最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
論文 参考訳（メタデータ） (2024-01-19T01:29:27Z) - MultiCoNER v2: a Large Multilingual dataset for Fine-grained and Noisy
Named Entity Recognition [36.868805760086886]
i) 映画のタイトルのような複雑なエンティティを含むきめ細かいクラスを効果的に扱うこと、(ii) タイピングミスやOCRエラーから発生するノイズによる性能劣化。
データセットはWikipediaやWikidataなどのオープンリソースからコンパイルされ、公開されている。
論文 参考訳（メタデータ） (2023-10-20T01:14:46Z) - GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
論文 参考訳（メタデータ） (2023-04-20T16:17:26Z) - Dynamic Named Entity Recognition [5.9401550252715865]
動的名前付きエンティティ認識(DNER)という新しいタスクを紹介します。
DNERは、コンテキストを利用してエンティティを抽出するアルゴリズムの能力を評価するためのフレームワークを提供する。
本稿では,本課題に関連する課題と研究軸を反映したベースラインモデルと実験結果について述べる。
論文 参考訳（メタデータ） (2023-02-16T15:50:02Z) - UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed
Complex Named Entity Recognition via Pseudo Labels using Multilingual
Transformer [7.270980742378389]
提案手法を多言語複合名前認識(MultiCoNER)共有タスクに導入する。
我々は,多言語変換器 XLM-RoBERTa が提供する文脈化表現を頼りに,多言語およびコード混合クエリの複雑な NER にアプローチする。
提案システムは多言語とコード混在したMultiCoNERのトラックにおいて,それぞれ6位と8位にランクされている。
論文 参考訳（メタデータ） (2022-04-28T14:07:06Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。