論文の概要: LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty

• arxiv url: http://arxiv.org/abs/2402.10573v3
• Date: Sun, 22 Dec 2024 06:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:08.810733
• Title: LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty
• Title（参考訳）: LinkNER:不確実性を利用したローカル名前付きエンティティ認識モデルと大規模言語モデルとのリンク
• Authors: Zhen Zhang, Yuhua Zhao, Hang Gao, Mengting Hu,
• Abstract要約: 名前付きエンティティ認識(NER)は、自然言語理解の基本的なタスクである。 本稿では,小型微調整モデルとLLM(LinkNER)を組み合わせ,RCCと呼ばれる不確実性に基づくリンク戦略を提案する。 LinkNERは、堅牢性テストにおいて、特にSOTAモデルを上回る、NERタスクパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 12.32180790849948
• License:
• Abstract: Named Entity Recognition (NER) serves as a fundamental task in natural language understanding, bearing direct implications for web content analysis, search engines, and information retrieval systems. Fine-tuned NER models exhibit satisfactory performance on standard NER benchmarks. However, due to limited fine-tuning data and lack of knowledge, it performs poorly on unseen entity recognition. As a result, the usability and reliability of NER models in web-related applications are compromised. Instead, Large Language Models (LLMs) like GPT-4 possess extensive external knowledge, but research indicates that they lack specialty for NER tasks. Furthermore, non-public and large-scale weights make tuning LLMs difficult. To address these challenges, we propose a framework that combines small fine-tuned models with LLMs (LinkNER) and an uncertainty-based linking strategy called RDC that enables fine-tuned models to complement black-box LLMs, achieving better performance. We experiment with both standard NER test sets and noisy social media datasets. LinkNER enhances NER task performance, notably surpassing SOTA models in robustness tests. We also quantitatively analyze the influence of key components like uncertainty estimation methods, LLMs, and in-context learning on diverse NER tasks, offering specific web-related recommendations. Code is available at https://github.com/zhzhengit/LinkNER.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は、自然言語理解の基本的なタスクであり、Webコンテンツ分析、検索エンジン、情報検索システムに直接影響する。 ファインチューニングされたNERモデルは標準のNERベンチマークで満足な性能を示す。 しかし、微調整データに制限があり、知識が不足しているため、見当たらないエンティティ認識では不十分である。 その結果、Web 関連アプリケーションにおける NER モデルのユーザビリティと信頼性が損なわれている。 代わりに、GPT-4のようなLarge Language Models (LLM) は外部知識を持っているが、NERタスクの専門性を欠いていることを示している。 さらに、非公開および大規模の重み付けにより、LLMのチューニングが困難になる。 これらの課題に対処するために、小型の微調整モデルとLLM(LinkNER)を組み合わせたフレームワークと、細調整モデルでブラックボックスのLCMを補完し、より良い性能を実現するRDCと呼ばれる不確実性ベースのリンク戦略を提案する。 標準NERテストセットとノイズの多いソーシャルメディアデータセットの両方を実験する。 LinkNERは、堅牢性テストにおいて、特にSOTAモデルを上回る、NERタスクパフォーマンスを向上させる。 また,不確実性推定手法やLLM,コンテキスト内学習などの重要要素が多様なNERタスクに与える影響を定量的に分析し,特定のWeb関連勧告を提供する。 コードはhttps://github.com/zhzhengit/LinkNERで入手できる。

関連論文リスト

• DLBacktrace: A Model Agnostic Explainability for any Deep Learning Models [1.747623282473278]
  ディープラーニングモデルは、意思決定プロセスにおける透明性が制限された不透明な'ブラックボックス'として機能する。 この研究は、AIシステムにおける解釈可能性の押し付けの必要性に対処し、信頼の育成、説明責任の確保、ミッションクリティカルな分野における責任あるデプロイメントの促進におけるその役割を強調した。 DLBacktraceは、AryaXAIチームが開発し、幅広い領域にわたるモデル決定を照らす革新的なテクニックです。
  論文  参考訳（メタデータ） (2024-11-19T16:54:30Z)
• Neurosymbolic AI approach to Attribution in Large Language Models [5.3454230926797734]
  ニューロシンボリックAI(NesyAI)は、ニューラルネットワークの強みと構造化されたシンボリック推論を組み合わせる。 本稿では、NesyAIフレームワークが既存の属性モデルをどのように拡張し、より信頼性が高く、解釈可能で、適応可能なシステムを提供するかを検討する。
  論文  参考訳（メタデータ） (2024-09-30T02:20:36Z)
• GEIC: Universal and Multilingual Named Entity Recognition with Large Language Models [7.714969840571947]
  ジェネレーションベース抽出とテキスト内分類(GEIC)の課題について紹介する。 次に,多言語GEICフレームワークであるCascadeNERを提案する。 我々はまた、Large Language Models(LLMs)用に特別に設計された最初のNERデータセットであるAnythingNERを紹介します。
  論文  参考訳（メタデータ） (2024-09-17T09:32:12Z)
• ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
  大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。 本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
  論文  参考訳（メタデータ） (2024-03-17T06:12:43Z)
• NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data [41.94295877935867]
  Named Entity Recognitionタスクに特化したコンパクト言語表現モデルであるNuNERの作成方法を示す。 NuNERは、データ効率のよい方法で下流のNER問題を解決するように微調整できる。 トレーニング済みデータセットのサイズとエンティティタイプの多様性が、優れたパフォーマンスを実現するための鍵であることが分かりました。
  論文  参考訳（メタデータ） (2024-02-23T14:23:51Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• E-NER: Evidential Deep Learning for Trustworthy Named Entity Recognition [69.87816981427858]
  ほとんどの名前付きエンティティ認識(NER)システムは、モデル不確実性を定量化する必要性を無視して、モデルパフォーマンスの改善に重点を置いている。 Evidential Deep Learning (EDL) は、最近、分類タスクの予測不確実性を明示的にモデル化するための有望な解決策として提案されている。 本稿では、従来のEDLに2つの不確実性誘導損失条件を導入し、一連の不確実性誘導訓練戦略を導入することにより、E-NERという信頼性の高いNERフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T02:36:16Z)
• A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
  名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。 我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T15:31:23Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。