論文の概要: RetrieveAll: A Multilingual Named Entity Recognition Framework with Large Language Models

• arxiv url: http://arxiv.org/abs/2505.19128v1
• Date: Sun, 25 May 2025 12:52:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.92647
• Title: RetrieveAll: A Multilingual Named Entity Recognition Framework with Large Language Models
• Title（参考訳）: RetrieveAll: 大規模言語モデルを用いた多言語名前付きエンティティ認識フレームワーク
• Authors: Jin Zhang, Fan Gao, Linyu Li, Yongbin Yu, Xiangxiang Wang, Nyima Tashi, Gadeng Luosang,
• Abstract要約: 既存の多言語NER法は多言語適応過程において言語干渉に直面する。 動的LoRAに基づく多言語NERフレームワークRetrieveAllを提案する。 本稿では,データ固有のポテンシャルをフル活用した粒界知識拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 7.867158538366131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of large language models has led to significant performance breakthroughs in named entity recognition (NER) for high-resource languages, yet there remains substantial room for improvement in low- and medium-resource languages. Existing multilingual NER methods face severe language interference during the multi-language adaptation process, manifested in feature conflicts between different languages and the competitive suppression of low-resource language features by high-resource languages. Although training a dedicated model for each language can mitigate such interference, it lacks scalability and incurs excessive computational costs in real-world applications. To address this issue, we propose RetrieveAll, a universal multilingual NER framework based on dynamic LoRA. The framework decouples task-specific features across languages and demonstrates efficient dynamic adaptability. Furthermore, we introduce a cross-granularity knowledge augmented method that fully exploits the intrinsic potential of the data without relying on external resources. By leveraging a hierarchical prompting mechanism to guide knowledge injection, this approach advances the paradigm from "prompt-guided inference" to "prompt-driven learning." Experimental results show that RetrieveAll outperforms existing baselines; on the PAN-X dataset, it achieves an average F1 improvement of 12.1 percent.
• Abstract（参考訳）: 大規模言語モデルの台頭は、ハイソース言語のための名前付きエンティティ認識(NER)において、大幅なパフォーマンスのブレークスルーをもたらしたが、ローソース言語とミディアムソース言語に改善の余地は依然として残っている。 既存の多言語NER法は,多言語適応プロセスにおいて,多言語間の機能衝突や,高リソース言語による低リソース言語機能の競争的抑制など,言語干渉に直面する。 言語ごとに専用モデルをトレーニングすることで、そのような干渉を軽減できますが、スケーラビリティが欠如し、現実世界のアプリケーションに過剰な計算コストが発生します。 この問題に対処するため,動的LoRAに基づく汎用多言語NERフレームワークRetrieveAllを提案する。 このフレームワークは、言語間でタスク固有の機能を分離し、効率的な動的適応性を示す。 さらに,外部リソースに頼らずに本質的なデータの可能性を完全に活用する粒界知識拡張手法を提案する。 知識注入を導くための階層的なプロンプト機構を活用することで、このアプローチはパラダイムを"プロンプト誘導推論"から"プロンプト駆動学習"へと進化させる。 RetrieveAllは既存のベースラインよりも優れており、PAN-Xデータセットでは平均12.1%のF1改善を実現している。

関連論文リスト

• Whisper-LM: Improving ASR Models with Language Models for Low-Resource Languages [0.43498389175652036]
  本研究は、従来の言語モデルと新しい言語モデルと微調整されたWhisperモデルを統合し、あまり一般的でない言語での性能を高める。 我々は、特に低リソースシナリオにおいて、単語エラー率を大幅に改善したことを示す。 統合はすべてのモデルサイズに確実に貢献するが、改善の程度は様々であり、最適化された言語モデルパラメータの重要性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T18:03:52Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Building an Efficient Multilingual Non-Profit IR System for the Islamic Domain Leveraging Multiprocessing Design in Rust [0.0]
  本研究は、イスラムドメインのための多言語非営利IRシステムの開発に焦点を当てている。 ドメイン適応の継続事前学習やモデルサイズ削減のための言語削減といった手法を用いて,軽量な多言語検索モデルを構築した。
  論文  参考訳（メタデータ） (2024-11-09T11:37:18Z)
• LOLA -- An Open-Source Massively Multilingual Large Language Model [1.5704590739448838]
  LOLAは160以上の言語で訓練された多言語大言語モデルである。 私たちのアーキテクチャと実装の選択は、言語多様性を活用するという課題に対処します。 学習したエキスパート・ルーティング機構は、暗黙の系統パターンを利用して、多言語性の呪いを和らげる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-09-17T15:23:08Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
  我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。 我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
  論文  参考訳（メタデータ） (2023-06-02T23:04:19Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。