論文の概要: BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2412.02228v1
• Date: Tue, 03 Dec 2024 07:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:28.091084
• Title: BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition
• Title（参考訳）: BANER: 名前付きエンティティ認識のための境界対応LCM
• Authors: Quanjiang Guo, Yihong Dong, Ling Tian, Zhao Kang, Yu Zhang, Sijie Wang,
• Abstract要約: 本稿では,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 ターゲットドメインからソースドメインに情報をアライメントするためにLoRAHubを使用し、適応型クロスドメイン分類機能を強化する。
• 参考スコア（独自算出の注目度）: 12.57768435856206
• License:
• Abstract: Despite the recent success of two-stage prototypical networks in few-shot named entity recognition (NER), challenges such as over/under-detected false spans in the span detection stage and unaligned entity prototypes in the type classification stage persist. Additionally, LLMs have not proven to be effective few-shot information extractors in general. In this paper, we propose an approach called Boundary-Aware LLMs for Few-Shot Named Entity Recognition to address these issues. We introduce a boundary-aware contrastive learning strategy to enhance the LLM's ability to perceive entity boundaries for generalized entity spans. Additionally, we utilize LoRAHub to align information from the target domain to the source domain, thereby enhancing adaptive cross-domain classification capabilities. Extensive experiments across various benchmarks demonstrate that our framework outperforms prior methods, validating its effectiveness. In particular, the proposed strategies demonstrate effectiveness across a range of LLM architectures. The code and data are released on https://github.com/UESTC-GQJ/BANER.
• Abstract（参考訳）: 少数ショットのエンティティ認識(NER)における2段階のプロトタイプネットワークの成功にもかかわらず、スパン検出段階におけるオーバー/アンダー検出された偽スパンや型分類段階におけるアンアラインなエンティティプロトタイプといった課題は継続している。 加えて、LSMは、一般的には有効な数ショット情報抽出器であることが証明されていない。 本稿では,これらの問題に対処するため,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 さらに、LoRAHubを使用して、ターゲットドメインからソースドメインに情報をアライメントすることで、適応的なクロスドメイン分類機能を強化します。 様々なベンチマークによる大規模な実験により、我々のフレームワークは以前の手法よりも優れており、その効果が検証されている。 特に,提案手法は LLM アーキテクチャの範囲で有効性を示す。 コードとデータはhttps://github.com/UESTC-GQJ/BANERで公開されている。

関連論文リスト

• Combining Domain and Alignment Vectors to Achieve Better Knowledge-Safety Trade-offs in LLMs [64.83462841029089]
  我々は、ドメインとアライメントベクトルを補間し、より安全なドメイン固有モデルを作成する、textscMergeAlignと呼ばれる効率的なマージベースのアライメント手法を導入する。 医学やファイナンスの専門家であるLlama3の変種にtextscMergeAlignを適用することで、ドメイン固有のベンチマークを最小限または全く劣化させることなく、大幅なアライメントの改善が得られる。
  論文  参考訳（メタデータ） (2024-11-11T09:32:20Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition [3.695767900907561]
  CLLMFSは、Few-Shot Named Entity RecognitionのためのContrastive LearningEnhanced Large Language Modelフレームワークである。 Low-Rank Adaptation (LoRA)と、数発のNER用に特別に調整された対照的な学習メカニズムを統合している。 提案手法は,F1スコアの現行性能を2.58%から97.74%まで向上させた。
  論文  参考訳（メタデータ） (2024-08-23T04:44:05Z)
• Empowering Source-Free Domain Adaptation with MLLM-driven Curriculum Learning [5.599218556731767]
  Source-Free Domain Adaptation (SFDA)は、未ラベルのターゲットデータのみを使用して、トレーニング済みのソースモデルをターゲットドメインに適応することを目的としている。 Reliability-based Curriculum Learning (RCL)は、SFDAの擬似ラベルによる知識活用のために複数のMLLMを統合している。
  論文  参考訳（メタデータ） (2024-05-28T17:18:17Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• SpanProto: A Two-stage Span-based Prototypical Network for Few-shot Named Entity Recognition [45.012327072558975]
  名前付きエンティティ認識(NER)は、アノテーション付きデータが少ない名前付きエンティティを識別することを目的としている。 そこで本研究では,2段階のアプローチを用いて,数発のNERに対処するセミナルスパンベースプロトタイプネットワーク(SpanProto)を提案する。 スパン抽出の段階では、逐次タグを大域境界行列に変換し、モデルが明示的な境界情報に集中できるようにする。 分類に言及するために、原型学習を活用してラベル付きスパンのセマンティック表現をキャプチャし、新しいクラスエンティティへの適応性を向上する。
  論文  参考訳（メタデータ） (2022-10-17T12:59:33Z)
• Decomposed Meta-Learning for Few-Shot Named Entity Recognition [32.515795881027074]
  NER (Few-shot named entity recognition) システムは、いくつかのラベル付き例に基づいて、新しい名前付きエンティティを認識することを目的としている。 本稿ではメタラーニングを用いた数発のスパン検出と数発のエンティティタイピングに取り組むメタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T12:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。