論文の概要: DCAD-2000: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection

• arxiv url: http://arxiv.org/abs/2502.11546v1
• Date: Mon, 17 Feb 2025 08:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:28.089617
• Title: DCAD-2000: A Multilingual Dataset across 2000+ Languages with Data Cleaning as Anomaly Detection
• Title（参考訳）: DCAD-2000:データクリーニングを異常検出として,2000以上の言語にまたがる多言語データセット
• Authors: Yingli Shen, Wen Lai, Shuo Wang, Xueren Zhang, Kangyang Luo, Alexander Fraser, Maosong Sun,
• Abstract要約: 新たに抽出したCommon Crawlデータを用いて構築された大規模多言語コーパスであるDCAD-2000を導入する。 DCAD-2000には2,282言語、46.72TBのデータ、833億のドキュメントがあり、155のハイソース言語と159のスクリプトがある。 我々はFineTaskベンチマークでDCAD-2000の品質を評価し、多言語データセットの品質とタスク性能を大幅に改善した。
• 参考スコア（独自算出の注目度）: 81.9128248739811
• License:
• Abstract: The rapid development of multilingual large language models (LLMs) highlights the need for high-quality, diverse, and clean multilingual datasets. In this paper, we introduce DCAD-2000 (Data Cleaning as Anomaly Detection), a large-scale multilingual corpus built using newly extracted Common Crawl data and existing multilingual datasets. DCAD-2000 includes over 2,282 languages, 46.72TB of data, and 8.63 billion documents, spanning 155 high- and medium-resource languages and 159 writing scripts. To overcome the limitations of current data cleaning methods, which rely on manual heuristic thresholds, we propose reframing data cleaning as an anomaly detection task. This dynamic filtering approach significantly enhances data quality by identifying and removing noisy or anomalous content. We evaluate the quality of DCAD-2000 on the FineTask benchmark, demonstrating substantial improvements in multilingual dataset quality and task performance.
• Abstract（参考訳）: 多言語大言語モデル(LLM)の急速な開発は、高品質で多様な、クリーンな多言語データセットの必要性を強調している。 本稿では,新たに抽出したCommon Crawlデータと既存の多言語データセットを用いて構築された大規模多言語コーパスであるDCAD-2000を紹介する。 DCAD-2000には2,282言語、46.72TBのデータ、833億のドキュメントがあり、155のハイソース言語と159のスクリプトがある。 手動のヒューリスティックしきい値に依存する現在のデータクリーニング手法の限界を克服するため,異常検出タスクとしてリフレーミングデータクリーニングを提案する。 この動的フィルタリングアプローチは、ノイズや異常な内容を特定して削除することで、データ品質を著しく向上させる。 我々はFineTaskベンチマークでDCAD-2000の品質を評価し、多言語データセットの品質とタスク性能を大幅に改善した。

関連論文リスト

• Efficiently Identifying Low-Quality Language Subsets in Multilingual Datasets: A Case Study on a Large-Scale Multilingual Audio Dataset [13.041053110012246]
  このような信頼できないサブセットを特定するための統計的テストであるPreference Proportion Testを導入する。 音素書き起こしの下流タスクのトレーニングモデルで、この低品質データをフィルタリングすることで、大きなメリットが得られます。
  論文  参考訳（メタデータ） (2024-10-05T21:41:49Z)
• Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
  利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。 英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。 単言語モデルと比較して,多言語モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-06-25T15:02:32Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Multi3WOZ: A Multilingual, Multi-Domain, Multi-Parallel Dataset for Training and Evaluating Culturally Adapted Task-Oriented Dialog Systems [64.40789703661987]
  Multi3WOZは、新しいマルチ言語、マルチドメイン、マルチ並列ToDデータセットである。 大規模で、4つの言語で文化的に適応したダイアログを提供する。 最終データセットを生成する複雑なボトムアップデータ収集プロセスについて述べる。
  論文  参考訳（メタデータ） (2023-07-26T08:29:42Z)
• Soft Prompt Decoding for Multilingual Dense Retrieval [30.766917713997355]
  本稿では,MLIRタスクへの言語間情報検索のための最先端手法の適用により,準最適性能が得られることを示す。 これは多言語コレクションの不均一性と不均衡性に起因する。 KD-SPDはMLIRの新しいソフトプロンプトデコーディング手法で、異なる言語における文書の表現を同じ埋め込み空間に暗黙的に「翻訳」する。
  論文  参考訳（メタデータ） (2023-05-15T21:17:17Z)
• Building Machine Translation Systems for the Next Thousand Languages [102.24310122155073]
  1500以上の言語を対象としたクリーンでWebマイニングされたデータセットの構築、低サービス言語のための実践的なMTモデルの開発、これらの言語に対する評価指標の限界の検証という3つの研究領域における結果について述べる。 我々の研究は、現在調査中の言語のためのMTシステムの構築に取り組んでいる実践者にとって有用な洞察を提供し、データスパース設定における多言語モデルの弱点を補完する研究の方向性を強調したいと考えています。
  論文  参考訳（メタデータ） (2022-05-09T00:24:13Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Language ID in the Wild: Unexpected Challenges on the Path to a Thousand-Language Web Text Corpus [15.807197703827818]
  我々は最大1,629の言語でLangIDモデルをトレーニングします。 これらのモデルを用いて作成したウェブクロールテキストコーパスの人手によるLangID精度は、多くの低リソース言語では5%程度であることがわかった。 本稿では,ワードリストに基づく可変精度フィルタとトランスフォーマーに基づく半教師付きラングIDモデルという2種類の手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T19:29:17Z)
• MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark [31.91964553419665]
  我々はMTOPと呼ばれる新しい多言語データセットを提案し、11ドメインの6言語で100kの注釈付き発話を合成する。 既存の2つの多言語データセットに対して、Slot F1上の+6.3ポイントの平均的な改善を、実験で報告された最良の結果よりも達成する。 本稿では,事前学習モデルと自動翻訳とアライメントを組み合わせたゼロショット性能と,スロットラベル投影におけるノイズ低減のための遠隔監視手法を提案する。
  論文  参考訳（メタデータ） (2020-08-21T07:02:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。