論文の概要: MultiCoNER: A Large-scale Multilingual dataset for Complex Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2208.14536v1
• Date: Tue, 30 Aug 2022 20:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 13:22:56.843835
• Title: MultiCoNER: A Large-scale Multilingual dataset for Complex Named Entity Recognition
• Title（参考訳）: MultiCoNER:複雑名前付きエンティティ認識のための大規模多言語データセット
• Authors: Shervin Malmasi, Anjie Fang, Besnik Fetahu, Sudipta Kar, Oleg Rokhlenko
• Abstract要約: 我々は、11言語にわたる3つのドメイン(ウィキ文、質問、検索クエリ)をカバーする、名前付きエンティティ認識のための大規模な多言語データセットであるMultiCoNERを提案する。 このデータセットは、低コンテキストシナリオを含む、NERの現代的課題を表現するように設計されている。
• 参考スコア（独自算出の注目度）: 15.805414696789796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MultiCoNER, a large multilingual dataset for Named Entity Recognition that covers 3 domains (Wiki sentences, questions, and search queries) across 11 languages, as well as multilingual and code-mixing subsets. This dataset is designed to represent contemporary challenges in NER, including low-context scenarios (short and uncased text), syntactically complex entities like movie titles, and long-tail entity distributions. The 26M token dataset is compiled from public resources using techniques such as heuristic-based sentence sampling, template extraction and slotting, and machine translation. We applied two NER models on our dataset: a baseline XLM-RoBERTa model, and a state-of-the-art GEMNET model that leverages gazetteers. The baseline achieves moderate performance (macro-F1=54%), highlighting the difficulty of our data. GEMNET, which uses gazetteers, improvement significantly (average improvement of macro-F1=+30%). MultiCoNER poses challenges even for large pre-trained language models, and we believe that it can help further research in building robust NER systems. MultiCoNER is publicly available at https://registry.opendata.aws/multiconer/ and we hope that this resource will help advance research in various aspects of NER.
• Abstract（参考訳）: 提案するMultiCoNERは,11言語にわたる3つのドメイン(Wiki文,質問,検索クエリ)と,多言語およびコード混合サブセットを対象とする,名前付きエンティティ認識のための大規模多言語データセットである。 このデータセットは、低コンテキストシナリオ(ショートテキストとアンケーステキスト)、映画のタイトルのような構文的に複雑なエンティティ、ロングテールエンティティの分散など、NERの現代的課題を表現するように設計されている。 26Mトークンデータセットは、ヒューリスティックベースの文サンプリング、テンプレート抽出とスロットング、機械翻訳などの技術を使用して、公開リソースからコンパイルされる。 我々は、ベースラインXLM-RoBERTaモデルと、ガゼッタを利用した最先端のGEMNETモデルという2つのNERモデルをデータセットに適用した。 ベースラインは適度なパフォーマンスを達成する(macro-F1=54%)。 ガゼッタを使用するGEMNETは大幅に改善されている(マクロF1=+30%の平均的な改善)。 MultiCoNERは、大規模な事前訓練された言語モデルにおいても課題を提起し、堅牢なNERシステムの構築においてさらなる研究に役立つと信じている。 MultiCoNERはhttps://registry.opendata.aws/multiconer/で公開されています。

関連論文リスト

• 2M-NER: Contrastive Learning for Multilingual and Multimodal NER with Language and Modal Fusion [9.038363543966263]
  我々は、4つの言語(英語、フランス語、ドイツ語、スペイン語)と2つのモーダル性(テキストと画像)を持つ大規模MMNERデータセットを構築した。 2M-NERと呼ばれる新しいモデルを導入し、コントラスト学習を用いてテキストと画像の表現を整列させ、マルチモーダル協調モジュールを統合する。 比較ベースラインや代表ベースラインと比較して,多言語および多モーダルNERタスクにおいてF1スコアが最も高い。
  論文  参考訳（メタデータ） (2024-04-26T02:34:31Z)
• SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models [97.40590590880144]
  MLLM(Multimodality Large Language Model)シリーズを開発した。 我々は、言語、ビジョン、視覚言語タスクで利用可能なリソースを網羅した包括的なデータセットを組み立てる。 パラメータサイズや多言語能力の異なるMLLMのスペクトルを得る。
  論文  参考訳（メタデータ） (2024-02-08T18:59:48Z)
• Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark [39.01204607174688]
  オープンなコミュニティ主導プロジェクトであるUniversal NER(UNER)を紹介し,多くの言語でゴールドスタンダードなNERベンチマークを開発する。 UNER v1には、12の異なる言語にまたがる言語間一貫性のあるスキーマで、名前付きエンティティで注釈付けされた18のデータセットが含まれている。
  論文  参考訳（メタデータ） (2023-11-15T17:09:54Z)
• Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval [56.65147231836708]
  SWIM-IRは, 微調整多言語高密度検索のための33言語を含む合成検索訓練データセットである。 SAPは、ターゲット言語における情報クエリの生成において、大きな言語モデル(LLM)を支援する。 我々のモデルはSWIM-Xと呼ばれ、人間に指示された高密度検索モデルと競合する。
  論文  参考訳（メタデータ） (2023-11-10T00:17:10Z)
• NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval [49.827932299460514]
  我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。 我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。 500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
  論文  参考訳（メタデータ） (2023-10-22T12:23:00Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-augmented System for Multilingual Named Entity Recognition [94.90258603217008]
  MultiCoNER RNum2共有タスクは、細粒度でノイズの多いシナリオにおいて、多言語の名前付きエンティティ認識(NER)に取り組むことを目的としている。 MultiCoNER RNum1の以前のトップシステムは、ナレッジベースまたはガゼッタを組み込んでいる。 細粒度多言語NERのための統一検索拡張システム(U-RaNER)を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:59:26Z)
• Large Scale Multi-Lingual Multi-Modal Summarization Dataset [26.92121230628835]
  現在最大の多言語マルチモーダル要約データセット(M3LS)を提示する。 それは100万以上のドキュメントイメージペアのインスタンスと、それぞれに専門的な注釈付きマルチモーダル要約で構成されています。 また、13言語に対する最大の要約データセットであり、2言語に対する言語間要約データで構成されている。
  論文  参考訳（メタデータ） (2023-02-13T18:00:23Z)
• UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed Complex Named Entity Recognition via Pseudo Labels using Multilingual Transformer [7.270980742378389]
  提案手法を多言語複合名前認識(MultiCoNER)共有タスクに導入する。 我々は,多言語変換器 XLM-RoBERTa が提供する文脈化表現を頼りに,多言語およびコード混合クエリの複雑な NER にアプローチする。 提案システムは多言語とコード混在したMultiCoNERのトラックにおいて,それぞれ6位と8位にランクされている。
  論文  参考訳（メタデータ） (2022-04-28T14:07:06Z)
• An Open-Source Dataset and A Multi-Task Model for Malay Named Entity Recognition [3.511753382329252]
  マレーNERデータセット(MYNER)を28,991文(384万個以上)で構築する。 NERトレーニングを明示的かつ暗黙的に改善するために、補助的なタスクである境界検出が導入されている。
  論文  参考訳（メタデータ） (2021-09-03T03:29:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。