論文の概要: Universal NER v2: Towards a Massively Multilingual Named Entity Recognition Benchmark
- arxiv url: http://arxiv.org/abs/2604.12744v1
- Date: Tue, 14 Apr 2026 13:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.470191
- Title: Universal NER v2: Towards a Massively Multilingual Named Entity Recognition Benchmark
- Title(参考訳): Universal NER v2: 高度に多言語で名前付けられたエンティティ認識ベンチマークを目指して
- Authors: Terra Blevins, Stephen Mayhew, Marek Šuppa, Hila Gonen, Shachar Mirkin, Vasile Pais, Kaja Dobrovoljc, Voula Giouli, Jun Kevin, Eugene Jang, Eungseo Kim, Jeongyeon Seo, Xenophon Gialis, Yuval Pinter,
- Abstract要約: Universal NERプロジェクトは、ゴールド標準の多言語名前付きエンティティ認識ベンチマークデータセットの構築に特化している。
プロジェクトは一般的なタグセットと詳細なアノテーションガイドラインを使用して、名前付きエンティティスパンの標準化された言語横断アノテーションを収集します。
- 参考スコア(独自算出の注目度): 19.16689552291377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While multilingual language models promise to bring the benefits of LLMs to speakers of many languages, gold-standard evaluation benchmarks in most languages to interrogate these assumptions remain scarce. The Universal NER project, now entering its fourth year, is dedicated to building gold-standard multilingual Named Entity Recognition (NER) benchmark datasets. Inspired by existing massively multilingual efforts for other core NLP tasks (e.g., Universal Dependencies), the project uses a general tagset and thorough annotation guidelines to collect standardized, cross-lingual annotations of named entity spans. The first installment (UNER v1) was released in 2024, and the project has continued and expanded since then, with various organizers, annotators, and collaborators in an active community.
- Abstract(参考訳): 多言語言語モデルは、LLMの利点を多くの言語の話者にもたらすことを約束するが、多くの言語のゴールドスタンダード評価ベンチマークでは、これらの仮定を疑うことは少ないままである。
4年目に入ったUniversal NERプロジェクトは、ゴールドスタンダードの多言語名前付きエンティティ認識(NER)ベンチマークデータセットの構築に重点を置いている。
他のコアNLPタスク(例えばUniversal Dependencies)に対する既存の多言語的な取り組みにインスパイアされたこのプロジェクトは、汎用タグセットと徹底的なアノテーションガイドラインを使用して、名前付きエンティティスパンの標準化された言語横断アノテーションを収集している。
最初のインストール(UNER v1)は2024年にリリースされ、その後、さまざまなオーガナイザ、アノテータ、共同作業者が活動的なコミュニティで、プロジェクトは継続および拡張されている。
関連論文リスト
- LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。
LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。
5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
論文 参考訳(メタデータ) (2025-01-01T15:43:07Z) - OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large
Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。
各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。
具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文 参考訳(メタデータ) (2024-02-21T04:42:41Z) - Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark [39.01204607174688]
オープンなコミュニティ主導プロジェクトであるUniversal NER(UNER)を紹介し,多くの言語でゴールドスタンダードなNERベンチマークを開発する。
UNER v1には、12の異なる言語にまたがる言語間一貫性のあるスキーマで、名前付きエンティティで注釈付けされた18のデータセットが含まれている。
論文 参考訳(メタデータ) (2023-11-15T17:09:54Z) - UNER: Universal Named-Entity RecognitionFramework [0.0]
私たちは、最初の多言語UNERコーパス(SETimesparallelコーパス)を作成します。
英語のSETimescorpusは、既存のツールと知識ベースを使って注釈付けされる。
結果として得られるアノテーションは、SE-Timesコーパス内の他の言語に自動的に伝達される。
論文 参考訳(メタデータ) (2020-10-23T13:53:31Z) - GLUECoS : An Evaluation Benchmark for Code-Switched NLP [17.066725832825423]
コード切替言語に対する評価ベンチマーク GLUECoS を提案する。
英語・ヒンディー語・英語・スペイン語におけるNLP課題について報告する。
我々は、人工的に生成されたコード切替データに基づいて、多言語モデルを微調整する。
論文 参考訳(メタデータ) (2020-04-26T13:28:34Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。