論文の概要: EL4NER: Ensemble Learning for Named Entity Recognition via Multiple Small-Parameter Large Language Models

• arxiv url: http://arxiv.org/abs/2505.23038v1
• Date: Thu, 29 May 2025 03:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.649447
• Title: EL4NER: Ensemble Learning for Named Entity Recognition via Multiple Small-Parameter Large Language Models
• Title（参考訳）: EL4NER:複数小パラメータ大言語モデルによる名前付きエンティティ認識のためのアンサンブル学習
• Authors: Yuzhen Xiao, Jiahe Song, Yongxin Xu, Ruizhe Zhang, Yiqi Xiao, Xin Lu, Runchuan Zhu, Bowen Jiang, Junfeng Zhao,
• Abstract要約: 大規模言語モデル(LLM)に基づくインコンテキスト学習(ICL)技術は、名前付きエンティティ認識(NER)タスクで注目されている。 我々は,NERタスクの全体的な性能を,より少ないデプロイメントと推論コストで向上させるために,EL4NER(Ensemble Learning Method for Named Entity Recognition)を提案する。 NER タスクに適した ICL デモ検索機構を確立するために,新しいスパンレベル文類似性アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 5.250561620875686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) technique based on Large Language Models (LLMs) has gained prominence in Named Entity Recognition (NER) tasks for its lower computing resource consumption, less manual labeling overhead, and stronger generalizability. Nevertheless, most ICL-based NER methods depend on large-parameter LLMs: the open-source models demand substantial computational resources for deployment and inference, while the closed-source ones incur high API costs, raise data-privacy concerns, and hinder community collaboration. To address this question, we propose an Ensemble Learning Method for Named Entity Recognition (EL4NER), which aims at aggregating the ICL outputs of multiple open-source, small-parameter LLMs to enhance overall performance in NER tasks at less deployment and inference cost. Specifically, our method comprises three key components. First, we design a task decomposition-based pipeline that facilitates deep, multi-stage ensemble learning. Second, we introduce a novel span-level sentence similarity algorithm to establish an ICL demonstration retrieval mechanism better suited for NER tasks. Third, we incorporate a self-validation mechanism to mitigate the noise introduced during the ensemble process. We evaluated EL4NER on multiple widely adopted NER datasets from diverse domains. Our experimental results indicate that EL4NER surpasses most closed-source, large-parameter LLM-based methods at a lower parameter cost and even attains state-of-the-art (SOTA) performance among ICL-based methods on certain datasets. These results show the parameter efficiency of EL4NER and underscore the feasibility of employing open-source, small-parameter LLMs within the ICL paradigm for NER tasks.
• Abstract（参考訳）: LLM(Large Language Models)に基づくICL(In-Context Learning)技術は、コンピュータリソース消費の低減、手動ラベリングのオーバーヘッドの低減、より強力な一般化性のために、名前付きエンティティ認識(NER)タスクで有名になった。 オープンソースモデルは、デプロイと推論のためにかなりの計算資源を必要とし、クローズドソースモデルは、高いAPIコストを発生させ、データプライバシの懸念を高め、コミュニティの協力を妨げる。 この問題に対処するため,複数のオープンソースの小パラメータLCMのICL出力を集約し,NERタスクの全体的な性能を向上させることを目的としたEL4NER(Ensemble Learning Method for Named Entity Recognition)を提案する。 特に,本手法は3つの鍵成分から構成される。 まず、深い多段階のアンサンブル学習を容易にするタスク分解に基づくパイプラインを設計する。 第2に,NER タスクに適した ICL デモ検索機構を確立するために,新しいスパンレベル文類似性アルゴリズムを提案する。 第3に,アンサンブル過程に導入された雑音を緩和するために,自己検証機構を組み込んだ。 多様な領域から広く採用されている複数のNERデータセット上でEL4NERを評価した。 実験結果から,EL4NERはパラメータコストを低く抑え,特定のデータセット上でのICLに基づく手法間でのSOTA(State-of-the-art)性能も達成できることがわかった。 これらの結果は、EL4NERのパラメータ効率を示し、NERタスクのICLパラダイム内でのオープンソースの小パラメータLLMの実現可能性を示している。

関連論文リスト

• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
  In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。 本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
  論文  参考訳（メタデータ） (2024-10-29T09:02:37Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• DynamicNER: A Dynamic, Multilingual, and Fine-Grained Dataset for LLM-based Named Entity Recognition [21.1223074396331]
  大規模言語モデル(LLM)に特化して設計された最初のNERデータセットであるDynamicNERを提案する。 8つの言語と155のエンティティタイプをカバーし、コーパスは複数の専門ドメインにまたがっている。 2段階戦略と軽量LLMに基づく新しいNER法であるCascadeNERを開発した。
  論文  参考訳（メタデータ） (2024-09-17T09:32:12Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。