論文の概要: Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages

• arxiv url: http://arxiv.org/abs/2212.10168v1
• Date: Tue, 20 Dec 2022 11:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:20:17.913656
• Title: Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages
• Title（参考訳）: Naamapadam: インデックス言語用の大規模なエンティティアノテーション付きデータ
• Authors: Arnav Mhaske, Harshit Kedia, Sumanth Doddapaneni, Mitesh M. Khapra, Pratyush Kumar, Rudra Murthy V, Anoop Kunchukuttan
• Abstract要約: 各言語では、標準エンティティカテゴリ3つのうち、合計で100k以上のエンティティが注釈付けされた400k以上の文が含まれている。 トレーニングデータセットは、Samanantar並列コーパスから自動的に作成される。 IndicNERは、Naamapadamトレーニングセットで微調整された多言語mBERTモデルであり、Naamapadamテストセットで最高のF1を達成する。
• 参考スコア（独自算出の注目度）: 15.214673043019399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present, Naamapadam, the largest publicly available Named Entity Recognition (NER) dataset for the 11 major Indian languages from two language families. In each language, it contains more than 400k sentences annotated with a total of at least 100k entities from three standard entity categories (Person, Location and Organization) for 9 out of the 11 languages. The training dataset has been automatically created from the Samanantar parallel corpus by projecting automatically tagged entities from an English sentence to the corresponding Indian language sentence. We also create manually annotated testsets for 8 languages containing approximately 1000 sentences per language. We demonstrate the utility of the obtained dataset on existing testsets and the Naamapadam-test data for 8 Indic languages. We also release IndicNER, a multilingual mBERT model fine-tuned on the Naamapadam training set. IndicNER achieves the best F1 on the Naamapadam-test set compared to an mBERT model fine-tuned on existing datasets. IndicNER achieves an F1 score of more than 80 for 7 out of 11 Indic languages. The dataset and models are available under open-source licenses at https://ai4bharat.iitm.ac.in/naamapadam.
• Abstract（参考訳）: 現在、Naamapadamは、2つの言語ファミリーから11の主要なインドの言語に対して、最も広く公開されている名前付きエンティティ認識(NER)データセットである。 各言語に400万以上の注釈文があり、11言語中9言語で3つの標準エンティティカテゴリ(人、場所、組織)から少なくとも10万のエンティティが注釈されている。 訓練データセットは、英語文から対応するインド語文に自動的にタグ付けされたエンティティを投影することにより、サマナンタル並列コーパスから自動的に作成される。 また、約1000の文を含む8言語に対して、手動で注釈付きテストセットを作成します。 既存のテストセット上で得られたデータセットと8つのindic言語のnaamapadam-testデータの有用性を実証する。 IndicNERは、Naamapadamトレーニングセットを微調整した多言語mBERTモデルである。 IndicNERは、既存のデータセットで微調整されたmBERTモデルと比較して、Naamapadam-testセットで最高のF1を達成する。 IndicNERは11言語中7言語に対して80以上のF1スコアを達成している。 データセットとモデルは、https://ai4bharat.iitm.ac.in/naamapadamのオープンソースライセンスで利用できる。

関連論文リスト

• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
  課題を分析し,インド語の多言語名称認識に適した手法を提案する。 主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。 我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-05-08T05:54:54Z)
• Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning [49.79783940841352]
  既存のデータセットはほとんどが英語で書かれている。 私たちは世界中の言語に精通した話者と協力して、指示と完了の自然な例を集めています。 既存のデータセットを114言語でテンプレート化し、翻訳することで、5億1300万のインスタンスを含む、これまでで最も広範な多言語コレクションを作成します。
  論文  参考訳（メタデータ） (2024-02-09T18:51:49Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)
• AsNER -- Annotated Dataset and Baseline for Assamese Named Entity recognition [7.252817150901275]
  提案されたNERデータセットは、ディープニューラルネットワークベースのアサマセ言語処理のための重要なリソースである可能性が高い。 我々は、NERモデルをトレーニングしてデータセットをベンチマークし、教師付きエンティティ認識のための最先端アーキテクチャを用いて評価する。 全てのベースラインの中で最も高いF1スコアは、単語埋め込み法として MuRIL を使用する場合、80.69%の精度を達成する。
  論文  参考訳（メタデータ） (2022-07-07T16:45:55Z)
• HiNER: A Large Hindi Named Entity Recognition Dataset [29.300418937509317]
  本稿では,11個のタグを付加した109,146文と2,220,856トークンを含む標準Hindi NERデータセットをリリースする。 データセット内のタグセットの統計は、特に人、場所、組織といった著名なクラスにおいて、タグ単位の分布が健全であることを示している。 我々のデータセットは、すべてのタグで重み付けされたF1スコア88.78、タグセットが崩壊したときに92.22を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2022-04-28T19:14:21Z)
• IndicNLG Suite: Multilingual Datasets for Diverse NLG Tasks in Indic Languages [23.157951796614466]
  本稿では,11言語を対象とした自然言語生成をベンチマークするデータセットの集合であるIndicNLGスイートを提案する。 本稿では,ウィキペディア情報ボックス(WikiBio)を用いたバイオグラフィー生成,ニュース見出し生成,文要約,質問生成,パラフレーズ生成の5つのタスクに着目した。
  論文  参考訳（メタデータ） (2022-03-10T15:53:58Z)
• Challenge Dataset of Cognates and False Friend Pairs from Indian Languages [54.6340870873525]
  コニャートは異なる言語で同じテキストの複数の変種に存在する。 本稿では,12言語を対象とした2つのコグネートデータセットの作成について述べる。
  論文  参考訳（メタデータ） (2021-12-17T14:23:43Z)
• CL-NERIL: A Cross-Lingual Model for NER in Indian Languages [0.5926203312586108]
  本稿では,インドの言語を対象としたNERのエンドツーエンドフレームワークを提案する。 我々は、英語とインド語の並列コーパスと英語のNERデータセットを利用する。 Hindi、Bengali、Gujaratiの3言語に対して手動でアノテートしたテストセットを提示する。
  論文  参考訳（メタデータ） (2021-11-23T12:09:15Z)
• MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain [76.21775236904185]
  データセットは3,232のソーシャルメディアテキストと91Kトークンによるトラフィックレポートで構成され、20.5Kアノテーション付きエンティティを含んでいる。 データセットのサブセットには,7つのモビリティ関連,n-ary関係型がアノテートされている。 私たちの知る限りでは、NER、EL、REのアノテーションを組み合わせた最初のドイツ語データセットです。
  論文  参考訳（メタデータ） (2021-08-16T08:21:50Z)
• CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus [57.641761472372814]
  CoVoSTは11言語から英語への多言語による音声からテキストへの翻訳コーパスである。 11,000人以上の話者と60以上のアクセントで多様化した。 CoVoSTはCC0ライセンスでリリースされており、無料で利用できる。
  論文  参考訳（メタデータ） (2020-02-04T14:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。