論文の概要: Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages

• arxiv url: http://arxiv.org/abs/2212.10168v2
• Date: Sun, 28 May 2023 06:26:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 02:35:38.573622
• Title: Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages
• Title（参考訳）: Naamapadam: インデックス言語用の大規模なエンティティアノテーション付きデータ
• Authors: Arnav Mhaske, Harshit Kedia, Sumanth Doddapaneni, Mitesh M. Khapra, Pratyush Kumar, Rudra Murthy V, Anoop Kunchukuttan
• Abstract要約: このデータセットには、3つの標準エンティティカテゴリから少なくとも100万のエンティティがアノテートされた400k以上の文が含まれている。 トレーニングデータセットは、Samanantar並列コーパスから自動的に作成される。 IndicNERは、Naamapadamトレーニングセットを微調整した多言語IndicBERTモデルである。
• 参考スコア（独自算出の注目度）: 15.214673043019399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present, Naamapadam, the largest publicly available Named Entity Recognition (NER) dataset for the 11 major Indian languages from two language families. The dataset contains more than 400k sentences annotated with a total of at least 100k entities from three standard entity categories (Person, Location, and, Organization) for 9 out of the 11 languages. The training dataset has been automatically created from the Samanantar parallel corpus by projecting automatically tagged entities from an English sentence to the corresponding Indian language translation. We also create manually annotated testsets for 9 languages. We demonstrate the utility of the obtained dataset on the Naamapadam-test dataset. We also release IndicNER, a multilingual IndicBERT model fine-tuned on Naamapadam training set. IndicNER achieves an F1 score of more than $80$ for $7$ out of $9$ test languages. The dataset and models are available under open-source licences at https://ai4bharat.iitm.ac.in/naamapadam.
• Abstract（参考訳）: 現在、Naamapadamは、2つの言語ファミリーから11の主要なインドの言語に対して、最も広く公開されている名前付きエンティティ認識(NER)データセットである。 このデータセットには、11言語中9つの標準エンティティカテゴリ(Person、Location、Organization)から少なくとも100万のエンティティが注釈付けされた400万以上の文が含まれている。 トレーニングデータセットは、英語文から対応するインド語翻訳に自動的にタグ付けされたエンティティを投影することにより、サマナンタル並列コーパスから自動的に作成される。 また、9言語用に手動でアノテーション付きのテストセットを作成します。 Naamapadam-testデータセット上で得られたデータセットの有用性を示す。 IndicNERは、Naamapadamトレーニングセットを微調整した多言語IndicBERTモデルである。 IndicNERは、9ドルのテスト言語のうち、80ドル以上でF1スコアを達成している。 データセットとモデルは、https://ai4bharat.iitm.ac.in/naamapadamでオープンソースライセンスで利用できる。

関連論文リスト

• Shiksha: A Technical Domain focused Translation Dataset and Model for Indian Languages [11.540702510360985]
  我々は、8つのインドの言語にまたがる280万行以上の英語とインデックスとインデックスの高品質な翻訳ペアを含む並列コーパスを作成します。 我々は、このコーパスを用いてNMTモデルを微調整し、評価し、ドメイン内のタスクで利用可能な他のすべてのモデルを超えます。
  論文  参考訳（メタデータ） (2024-12-12T07:40:55Z)
• A Multi-way Parallel Named Entity Annotated Corpus for English, Tamil and Sinhala [0.8675380166590487]
  本報告では, 名前付きエンティティ (NE) を付加した英語-タミル・シンハラコーパスについて述べる。 事前訓練された多言語言語モデル(mLM)を用いて、シンハラとタミルのデータセット上で、新しいベンチマークNER(Named Entity Recognition)結果を確立する。
  論文  参考訳（メタデータ） (2024-12-03T00:28:31Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
  課題を分析し,インド語の多言語名称認識に適した手法を提案する。 主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。 我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-05-08T05:54:54Z)
• Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning [49.79783940841352]
  既存のデータセットはほとんどが英語で書かれている。 私たちは世界中の言語に精通した話者と協力して、指示と完了の自然な例を集めています。 既存のデータセットを114言語でテンプレート化し、翻訳することで、5億1300万のインスタンスを含む、これまでで最も広範な多言語コレクションを作成します。
  論文  参考訳（メタデータ） (2024-02-09T18:51:49Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)
• HiNER: A Large Hindi Named Entity Recognition Dataset [29.300418937509317]
  本稿では,11個のタグを付加した109,146文と2,220,856トークンを含む標準Hindi NERデータセットをリリースする。 データセット内のタグセットの統計は、特に人、場所、組織といった著名なクラスにおいて、タグ単位の分布が健全であることを示している。 我々のデータセットは、すべてのタグで重み付けされたF1スコア88.78、タグセットが崩壊したときに92.22を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2022-04-28T19:14:21Z)
• Challenge Dataset of Cognates and False Friend Pairs from Indian Languages [54.6340870873525]
  コニャートは異なる言語で同じテキストの複数の変種に存在する。 本稿では,12言語を対象とした2つのコグネートデータセットの作成について述べる。
  論文  参考訳（メタデータ） (2021-12-17T14:23:43Z)
• CL-NERIL: A Cross-Lingual Model for NER in Indian Languages [0.5926203312586108]
  本稿では,インドの言語を対象としたNERのエンドツーエンドフレームワークを提案する。 我々は、英語とインド語の並列コーパスと英語のNERデータセットを利用する。 Hindi、Bengali、Gujaratiの3言語に対して手動でアノテートしたテストセットを提示する。
  論文  参考訳（メタデータ） (2021-11-23T12:09:15Z)
• MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain [76.21775236904185]
  データセットは3,232のソーシャルメディアテキストと91Kトークンによるトラフィックレポートで構成され、20.5Kアノテーション付きエンティティを含んでいる。 データセットのサブセットには,7つのモビリティ関連,n-ary関係型がアノテートされている。 私たちの知る限りでは、NER、EL、REのアノテーションを組み合わせた最初のドイツ語データセットです。
  論文  参考訳（メタデータ） (2021-08-16T08:21:50Z)
• CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus [57.641761472372814]
  CoVoSTは11言語から英語への多言語による音声からテキストへの翻訳コーパスである。 11,000人以上の話者と60以上のアクセントで多様化した。 CoVoSTはCC0ライセンスでリリースされており、無料で利用できる。
  論文  参考訳（メタデータ） (2020-02-04T14:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。