論文の概要: Beyond Catalogue Counts: the Dataset Visibility Asymmetry in Low-Resource Multilingual NLP

• arxiv url: http://arxiv.org/abs/2605.17442v1
• Date: Sun, 17 May 2026 13:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.089163
• Title: Beyond Catalogue Counts: the Dataset Visibility Asymmetry in Low-Resource Multilingual NLP
• Title（参考訳）: カタログ数を超える:低リソース多言語NLPにおけるデータセット可視非対称性
• Authors: Zhiyin Tan, Changxu Duan,
• Abstract要約: 53言語にまたがる609のユニークなデータセットを特定しました。 この結果から,多言語データの不足は生産上の問題としてだけでなく,文書化や発見可能性,長期的アクセシビリティの問題として理解されるべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual NLP often relies on dataset counts from centralized catalogues to characterize which languages are resource-rich or resource-poor. However, these catalogues record only one layer of dataset visibility: what has been registered or institutionally distributed. They do not necessarily reflect which datasets are created, cited, or reused in the research literature. To examine this gap, we combine a catalogue-based baseline with literature-backed evidence of dataset circulation. We introduce the Resource Density Index (RDI), defined as the number of catalogued datasets per one million speakers, and compute it for the 200 most widely spoken languages in Ethnologue. Among them, 118 languages (59%) have an average RDI of zero across the LRE Map and the Linguistic Data Consortium (LDC), and another 23 fall below 0.1, corresponding to at most one catalogued dataset per ten million speakers. We then apply an LLM-assisted citation-mining pipeline over the Semantic Scholar corpus to these 141 low-visibility languages. After manual validation and consolidation, we identify 609 unique datasets across 53 languages, of which 356 remain openly accessible through working public links. These results reveal a substantial visibility gap: many large-speaker languages appear data-poor in catalogue records yet show clear evidence of dataset activity in the research literature. Our findings suggest that multilingual data scarcity should be understood not only as a production problem, but also as a question of documentation, discoverability, and long-term accessibility. Code and data are publicly available at (https://github.com/zhiyintan/dataset-visibility-asymmetry).
• Abstract（参考訳）: マルチ言語NLPは、どの言語がリソースに富んでいるか、あるいはリソースが乏しいかを特徴付けるために、中央集権的なカタログからのデータセット数に依存することが多い。 しかしながら、これらのカタログは、データセットの可視性(登録されたものまたは制度的に配布されたもの)の1つの層のみを記録している。 研究文献でどのデータセットが作成され、引用され、あるいは再利用されるかを必ずしも反映していない。 このギャップを調べるために、カタログベースのベースラインと文献によるデータセットの循環の証拠を組み合わせる。 資源密度指数(Resource Density Index, RDI)は100万話者当たりのカタログ化されたデータセットの数として定義され、エスノローグで最も広く話されている200の言語に対して計算される。 そのうち、118言語 (59%) は LRE Map と Linguistic Data Consortium (LDC) で平均 0 の RDI を持ち、さらに23言語は 0.1 以下で、1000万人の話者に対して、少なくとも1つのカタログ化されたデータセットに対応している。 次に、これらの低可視性言語141に対して、セマンティック・スカラー・コーパスにLLM支援の引用マイニングパイプラインを適用する。 手動検証と統合の後、53言語にまたがる609のユニークなデータセットを特定します。 大規模話者言語の多くはカタログ記録にデータ不足が見られるが、研究文献におけるデータセット活動の明確な証拠は示されていない。 この結果から,多言語データの不足は生産上の問題としてだけでなく,文書化や発見可能性,長期的アクセシビリティの問題として理解されるべきであることが示唆された。 コードとデータはhttps://github.com/zhiyintan/dataset-visibility-asymmetric)で公開されている。

関連論文リスト

• DCAD-2000: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection [71.97939405401961]
  我々は,Common Crawlデータと既存の多言語ソースから構築された大規模多言語コーパスであるDCAD-2000を紹介する。 DCAD-2000は2,282言語、46.72TBのテキスト、および8.63億のドキュメントをカバーし、155のハイソース言語と159のスクリプトをカバーしている。 DCAD-2000上でのLCMの微調整により,データ品質,クリーニングパイプラインの堅牢性,下流性能の顕著な改善が示された。
  論文  参考訳（メタデータ） (2025-02-17T08:28:29Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• GlotLID: Language Identification for Low-Resource Languages [51.38634652914054]
  GlotLID-M は広い範囲、信頼性、効率性のデシラタを満たす LID モデルである。 1665の言語を識別し、以前の作業に比べてカバー範囲が大幅に増加した。
  論文  参考訳（メタデータ） (2023-10-24T23:45:57Z)
• SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects [9.501383449039142]
  我々は200の言語と方言のトピック分類のための大規模ベンチマークデータセットであるSIB-200を開発した。 SIB-200でカバーされている多くの言語に対して、これは自然言語理解のための最初の公開評価データセットである。 その結果、多言語モデル、表現不足言語家族、アフリカ、アメリカ、オセアニア、東南アジアの言語が事前学習中に見つからない言語は、トピック分類データセット上で最も低いパフォーマンスを持つことが多いことがわかった。
  論文  参考訳（メタデータ） (2023-09-14T05:56:49Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Beyond Counting Datasets: A Survey of Multilingual Dataset Construction and Necessary Resources [38.814057529254846]
  公開されている156個のNLPデータセットの特徴について検討する。 言語に習熟したNLP研究者と集団労働者を対象に調査を行った。 メカニカルトルコプラットフォーム上で高品質な多言語データを収集するための戦略を同定する。
  論文  参考訳（メタデータ） (2022-11-28T18:54:33Z)
• Bloom Library: Multimodal Datasets in 300+ Languages for a Variety of Downstream Tasks [0.007696728525672149]
  Bloom Libraryデータセットの最初のリリースは、32の言語ファミリーにわたる363の言語をカバーしている。 これらファースト・オブ・ザ・キンドのベースラインのいくつかは、高リソース言語の最先端のパフォーマンスに匹敵するものである。
  論文  参考訳（メタデータ） (2022-10-26T13:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。