論文の概要: Generative vs. Encoder Models for Multilingual NER: A Comprehensive Empirical Study on Naamapadam

• arxiv url: http://arxiv.org/abs/2608.29959v1
• Date: Sun, 30 Aug 2026 18:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.132286
• Title: Generative vs. Encoder Models for Multilingual NER: A Comprehensive Empirical Study on Naamapadam
• Title（参考訳）: 多言語NER生成モデルとエンコーダモデル:Naamapadamに関する総合的研究
• Abstract要約: 本稿では、NAMAPAdamベンチマークの11言語すべてを対象に、NERのための生成およびエンコーダに基づくニューラルアーキテクチャの比較研究を行う。 我々は,エンコーダ優位,部分被覆,障害ゾーンという3つの言語クラスタを同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language is humanity's most consequential technology, yet for over a billion speakers across India's twenty-two constitutionally recognised languages, its digital layer remains structurally incomplete. Named Entity Recognition (NER), the foundational step in transforming raw text into machine-interpretable knowledge, has been studied exhaustively for English but remains largely unsolved across most Indic languages. This paper presents a rigorous comparative study of generative and encoder-based neural architectures for NER on all eleven languages of the Naamapadam benchmark. We evaluate five classic model families spanning sequence-to-sequence transformers and multilingual encoders; four decoder-only large language models (LLMs) fine-tuned with LoRA and 4-bit NF4 quantisation; and nine generative models in zero-to-5-shot inference. Under strict CoNLL span-level evaluation, encoder-based models (mBERT and XLM-R, both F1=0.675 on Hindi) substantially outperform every generative architecture in ten of eleven languages, with gaps of 7.5-40 percentage points against the strongest competitor (Gemma-2-2B: avg F1=0.427). The best few-shot result reaches only 28% of the encoder baseline. We identify three language clusters--encoder-dominant, partial-coverage, and failure-zone; and provide actionable deployment guidelines grounded in transfer learning and low-resource NLP principles.
• Abstract（参考訳）: 言語は人類で最も複雑な技術であるが、インドの22の憲法で認められた言語で10億人を超える話者にとって、そのデジタル層は構造的に不完全なままである。 原文を機械で解釈可能な知識に変換するための基本的なステップであるエンティティ認識(NER)は、英語で徹底的に研究されてきたが、ほとんどのインド語言語では未解決のままである。 本稿では,NAMAPAdamベンチマークの11言語すべてを対象に,NERのための生成およびエンコーダに基づくニューラルアーキテクチャの厳密な比較を行った。 シーケンス・ツー・シーケンス・トランスフォーマーと多言語エンコーダにまたがる5つの古典的モデルファミリ、LoRAと4ビットNF4量子化を微調整した4つのデコーダのみの大規模言語モデル(LLM)、ゼロ・ツー・5ショット推論における9つの生成モデルを評価した。 厳密なCoNLLのスパンレベル評価の下では、エンコーダベースのモデル(mBERTとXLM-R、どちらもヒンディー語でF1=0.675)は11言語中10言語において、最強の競合相手(Gemma-2B: avg F1=0.427)に対して7.5-40ポイントの差で、全ての生成アーキテクチャを大幅に上回っている。 最高の数ショットの結果は、エンコーダのベースラインの28%にしか達しない。 我々は,トランスファーラーニングと低リソースNLPの原則に基づいて,3つの言語クラスタ – エンコーダ優位性,部分カバレッジ,障害ゾーン – を識別し,実行可能なデプロイメントガイドラインを提供する。

関連論文リスト

• HomoEnsNER: Does Language Alignment Outperform Architectural Complexity in Gujarati Named Entity Recognition? [0.0]
  HomoEnsNERは、5つの独立した微調整されたGujaratiBERTモデルの同質アンサンブルである。 いずれも一貫した予算で訓練され、Naamapadam GujaratiテストスプリットでエンティティレベルのF1を使用して評価された。
  論文  参考訳（メタデータ） (2026-08-04T04:21:35Z)
• Reference-Free Reinforcement Learning Fine-Tuning for MT: A Seq2Seq Perspective [1.786053901581251]
  GRPOは従来の中国語で最大$5.03 chrF++の13言語に対して一貫した改良を施しており、ターゲット言語データなしでは、形態学的に複雑な言語に関する3つのエポック的な微調整と競合する。 我々は、ゲインが最大であり、ベースライン性能が最も低く、報酬の差別性が最高である一貫した経験的パターンを同定する。
  論文  参考訳（メタデータ） (2026-05-15T14:11:23Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Developing an English-Efik Corpus and Machine Translation System for Digitization Inclusion [0.0]
  本研究は、英語・英語翻訳における最先端多言語ニューラルマシン翻訳モデルの有効性を評価する。 我々はこのデータセット上でmT5多言語モデルとNLLB200モデルの両方を微調整した。 本研究は,低リソース言語のための実用的な機械翻訳ツールの開発の可能性を示すものである。
  論文  参考訳（メタデータ） (2026-03-16T06:17:22Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Sentiment Analysis for Sinhala Language using Deep Learning Techniques [1.0499611180329804]
  本稿では,RNN,LSTM,Bi-LSTM,カプセルネットワークなどの標準シーケンスモデルの利用について,より包括的な研究を行った。 この4つのクラスに注釈を付けた15059年のシンハラのニュースコメントと、948万のトークンからなるコーパスのデータセットが公開されている。
  論文  参考訳（メタデータ） (2020-11-14T12:02:30Z)
• SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection [81.85463892070085]
  形態的回帰に関するSIGMORPHON 2020の課題は、型的に異なる言語にまたがるシステムの一般化能力を調査することを目的としている。 システムは45言語と5つの言語ファミリーのデータを使用して開発され、追加の45言語と10の言語ファミリー(合計13言語)のデータで微調整され、90言語すべてで評価された。
  論文  参考訳（メタデータ） (2020-06-20T13:24:14Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。