論文の概要: ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2502.11198v1
• Date: Sun, 16 Feb 2025 16:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.922692
• Title: ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition
• Title（参考訳）: ANCHOLIK-NER:Bangla地域名前付きエンティティ認識のためのベンチマークデータセット
• Authors: Bidyarthi Paul, Faika Fairuj Preotee, Shuvashis Sarker, Shamim Rahim Refat, Shifat Islam, Tashreef Muhammad, Mohammad Ashraful Hoque, Shahriar Manzoor,
• Abstract要約: データセットは約10,443文、1リージョンあたり3,481文である。 データは2つの公開データセットから収集され、様々なオンライン新聞や記事からウェブスクレイピングによって収集された。 データセットは各リージョンごとに別々のサブセットに構成され、どちらもCSVフォーマットで利用できる。
• 参考スコア（独自算出の注目度）: 0.8025340896297104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ANCHOLIK-NER is a linguistically diverse dataset for Named Entity Recognition (NER) in Bangla regional dialects, capturing variations across Sylhet, Chittagong, and Barishal. The dataset has around 10,443 sentences, 3,481 sentences per region. The data was collected from two publicly available datasets and through web scraping from various online newspapers, articles. To ensure high-quality annotations, the BIO tagging scheme was employed, and professional annotators with expertise in regional dialects carried out the labeling process. The dataset is structured into separate subsets for each region and is available both in CSV format. Each entry contains textual data along with identified named entities and their corresponding annotations. Named entities are categorized into ten distinct classes: Person, Location, Organization, Food, Animal, Colour, Role, Relation, Object, and Miscellaneous. This dataset serves as a valuable resource for developing and evaluating NER models for Bangla dialectal variations, contributing to regional language processing and low-resource NLP applications. It can be utilized to enhance NER systems in Bangla dialects, improve regional language understanding, and support applications in machine translation, information retrieval, and conversational AI.
• Abstract（参考訳）: ANCHOLIK-NERはバングラ地方の方言における名前付きエンティティ認識(NER)のための言語学的に多様なデータセットであり、Sylhet、Chittagong、Barishalの様々なバリエーションを捉えている。 データセットは約10,443文、1リージョンあたり3,481文である。 データは2つの公開データセットから収集され、様々なオンライン新聞や記事からウェブスクレイピングによって収集された。 高品質なアノテーションを確保するため、BIOタグ付け方式が採用され、地域方言の専門知識を持つ専門家アノテータがラベル付けプロセスを実行した。 データセットは各リージョンごとに別々のサブセットに構成され、どちらもCSVフォーマットで利用できる。 各エントリには、識別された名前付きエンティティと対応するアノテーションとともに、テキストデータが含まれている。 名前付きエンティティは、人、場所、組織、食物、動物、色、役割、関係、対象、雑多な10のクラスに分類される。 このデータセットは、バングラ方言のバリエーションのためのNERモデルの開発と評価のための貴重なリソースとなり、地域言語処理や低リソースのNLPアプリケーションに寄与する。 バングラ方言のNERシステムを強化し、地域言語理解を改善し、機械翻訳、情報検索、会話AIの応用をサポートするために利用することができる。

関連論文リスト

• BIDWESH: A Bangla Regional Based Hate Speech Detection Dataset [0.0]
  本研究は,バングラヘイトスピーチデータセットであるBIDWESHを紹介する。 BD-SHSコーパスから9,183のインスタンスを3つの主要地域方言に翻訳し、注釈付けすることで構築された。 その結果得られたデータセットは、バングラでヘイトスピーチの検出を進めるための言語的にリッチでバランスの取れた、包括的なリソースを提供する。
  論文  参考訳（メタデータ） (2025-07-22T02:53:48Z)
• Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models [1.472830326343432]
  この研究は、言語多様性を保ち、方言話者間のコミュニケーションを改善する必要性によって動機付けられている。 モデルは"Vashantor"データセットを使用して微調整され、様々な方言で32,500の文が含まれている。 BanglaT5はCERが12.3%、WERが15.7%で優れた性能を示し、方言のニュアンスを捉える効果を強調した。
  論文  参考訳（メタデータ） (2025-01-10T06:50:51Z)
• Open the Data! Chuvash Datasets [50.59120569845975]
  Chuvash言語用の包括的データセットを4つ紹介する。 これらのデータセットには、モノリンガルデータセット、ロシア語による並列データセット、英語による並列データセット、オーディオデータセットが含まれる。
  論文  参考訳（メタデータ） (2024-05-31T07:51:19Z)
• SemRel2024: A Collection of Semantic Textual Relatedness Datasets for 13 Languages [44.017657230247934]
  textitSemRelは13言語にまたがるネイティブスピーカーによって注釈付けされた新しいセマンティック関連データセットである。 これらの言語は5つの異なる言語族の出身であり、主にアフリカとアジアで話されている。 SemRelデータセットの各インスタンスは、2つの文間の意味的テキスト関連性の度合いを表すスコアに関連付けられた文対である。
  論文  参考訳（メタデータ） (2024-02-13T18:04:53Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Pseudo-Labeling for Domain-Agnostic Bangla Automatic Speech Recognition [10.244515100904144]
  本研究では,大規模ドメインに依存しないASRデータセットを構築するための擬似ラベル手法を提案する。 さまざまな話題,話し方,方言,騒々しい環境,会話シナリオを含む20k時間以上のラベル付きバングラ音声データセットを開発した。 トレーニングされたASRを公開データセットでベンチマークし、他の利用可能なモデルと比較しました。 本研究は,設計したテストセットの擬似ラベルデータに基づいてトレーニングしたモデルと,公開されているBanglaデータセットの有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-11-06T15:37:14Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• CebuaNER: A New Baseline Cebuano Named Entity Recognition Model [1.5056924758531152]
  本稿ではCebuaNERについて紹介する。CebuaNERはCebuano言語における名前付きエンティティ認識のための新しいベースラインモデルである。 モデルを構築するために、4000以上のニュース記事を収集し、注釈を付けました。 その結果,新しいベースラインモデルとして有望な結果が得られ,すべてのエンティティタグに対して70%以上の精度,リコール,F1が達成された。
  論文  参考訳（メタデータ） (2023-10-01T14:09:42Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• On Evaluation of Bangla Word Analogies [0.8658596218544772]
  本稿では,Bangla単語の埋め込み品質を評価するための高品質なデータセットを提案する。 世界で7番目に普及した言語であるにもかかわらず、Banglaは低リソース言語であり、人気のあるNLPモデルはうまく機能しない。
  論文  参考訳（メタデータ） (2023-04-10T14:27:35Z)
• BanglaCoNER: Towards Robust Bangla Complex Named Entity Recognition [0.0]
  本稿では,Bangla Complex Named Entity Recognition Challengeの勝利解を提案する。 データセットはトレーニング用15300文と検証用800文で構成されている。 また,バングラ語におけるNERに対するBanglaBERTなどのディープラーニングモデルの有効性を示した。
  論文  参考訳（メタデータ） (2023-03-16T13:31:31Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• AsNER -- Annotated Dataset and Baseline for Assamese Named Entity recognition [7.252817150901275]
  提案されたNERデータセットは、ディープニューラルネットワークベースのアサマセ言語処理のための重要なリソースである可能性が高い。 我々は、NERモデルをトレーニングしてデータセットをベンチマークし、教師付きエンティティ認識のための最先端アーキテクチャを用いて評価する。 全てのベースラインの中で最も高いF1スコアは、単語埋め込み法として MuRIL を使用する場合、80.69%の精度を達成する。
  論文  参考訳（メタデータ） (2022-07-07T16:45:55Z)
• HiNER: A Large Hindi Named Entity Recognition Dataset [29.300418937509317]
  本稿では,11個のタグを付加した109,146文と2,220,856トークンを含む標準Hindi NERデータセットをリリースする。 データセット内のタグセットの統計は、特に人、場所、組織といった著名なクラスにおいて、タグ単位の分布が健全であることを示している。 我々のデータセットは、すべてのタグで重み付けされたF1スコア88.78、タグセットが崩壊したときに92.22を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2022-04-28T19:14:21Z)
• Automatic Speech Recognition Datasets in Cantonese Language: A Survey and a New Dataset [85.52036362232688]
  私たちのデータセットは、香港のCandoneseオーディオブックから収集された、73.6時間のクリーンな読み上げ音声と書き起こしとの組み合わせで構成されています。 哲学、政治、教育、文化、ライフスタイル、家族の領域を組み合わせて、幅広いトピックをカバーしている。 MDCC と Common Voice zh-HK にマルチデータセット学習を適用することで,強力で堅牢な Cantonese ASR モデルを作成する。
  論文  参考訳（メタデータ） (2022-01-07T12:09:15Z)
• Dataset Geography: Mapping Language Data to Language Users [17.30955185832338]
  本研究では,NLPデータセットが言語話者の期待するニーズにどの程度一致しているかを定量化することを目的として,NLPデータセットの地理的代表性について検討する。 その際、エンティティ認識とリンクシステムを使用し、言語間の一貫性について重要な観察を行う。 最後に,観測された分布データセットを説明するための地理的・経済的要因について検討する。
  論文  参考訳（メタデータ） (2021-12-07T05:13:50Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• PhraseCut: Language-based Image Segmentation in the Wild [62.643450401286]
  自然言語のフレーズを与えられた画像領域を分割する問題について考察する。 私たちのデータセットは、Visual Genomeデータセットの上に収集されます。 我々の実験は、我々のデータセットにおける概念のスケールと多様性が、既存の最先端技術に重大な課題をもたらすことを示している。
  論文  参考訳（メタデータ） (2020-08-03T20:58:53Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。