論文の概要: FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing
- arxiv url: http://arxiv.org/abs/2609.25298v1
- Date: Mon, 21 Sep 2026 18:41:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.084492
- Title: FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing
- Title（参考訳）: FineWeb-CLaR: ベンチマーク対応コーパス監査のための文化、言語、リージョンアノテーション
- Abstract要約: FineWeb-CLaRは、FenWebとFenWeb-2からの完全な30.9Bドキュメントコレクションに、URL由来のリージョンラベルと文化的トピックの成果を注釈する。
また、同じ分類、言語カバレッジ、地域カバレッジを持つ277の文化的NLPベンチマークも注釈付けします。
- 参考スコア（独自算出の注目度）: 13.900470770382393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cultural evaluation coverage and robustness in language models are difficult to diagnose because pretraining corpora and cultural benchmarks are rarely indexed with comparable metadata. Benchmarks increasingly target culturally situated phenomena at the level of languages, regions, and locale-specific practices, while web-scale corpora are usually organized only by language. A shared culture-language-region layer makes these resources comparable, enabling audits of whether a target cultural phenomenon is represented in pretraining data, evaluated by benchmarks or both. To this end, we introduce FineWeb-CLaR, a large-scale annotated dataset derived from FineWeb and FineWeb-2 that places web documents on a shared culture-language-region axis for corpus auditing and benchmark alignment. FineWeb-CLaR annotates the full 30.9B-document collection from FineWeb and FineWeb-2 with URL-derived region labels and cultural-topic provenance. Our region resolver assigns a non-empty region to 25.61% of documents (7.92B). For cultural-topic analysis, we induce locale-specific topics and project them onto the 14 leaves of the Cultural Taxonomy of Liu et al. (2025), producing Locale Topic Distributions (LTDs) for corpus-side comparison. We also annotate 277 cultural NLP benchmarks with the same taxonomy, language coverage, and region coverage. Together, these resources enable direct comparison between corpus-side pretraining evidence and benchmark-side evaluation coverage.
- Abstract（参考訳）: 言語モデルの文化的評価と堅牢性は、事前学習コーパスと文化ベンチマークが同等のメタデータで索引付けされることが滅多にないため、診断が困難である。
ベンチマークは、言語、地域、地域固有のプラクティスのレベルにおいて、文化的に位置する現象を標的にしている一方、Webスケールコーパスは通常、言語によってのみ組織されている。
共有文化言語/リージョン層は、これらのリソースを同等にし、対象の文化現象が事前学習データに表現されているかどうかの監査を可能にし、ベンチマークで評価するか、その両方で評価する。
この目的のために,FenWeb と FineWeb-2 から派生した大規模アノテートデータセットである FineWeb-CLaR を導入し,コーパス監査とベンチマークアライメントのための共有文化言語領域軸上に Web ドキュメントを配置する。
FineWeb-CLaRは、FenWebとFenWeb-2からの完全な30.9Bドキュメントコレクションに、URL由来のリージョンラベルと文化的トピックの成果を注釈する。
我々の領域リゾルバは空でない領域を25.61%の文書(7.92B)に割り当てる。
文化トピック分析では,地域特化トピックを誘導し,Lu et al (2025)の文化分類学14の葉に投射し,コーパス側の比較のためにLocale Topic Distributions(LTDs)を生産する。
また、同じ分類、言語カバレッジ、地域カバレッジを持つ277の文化的NLPベンチマークも注釈付けします。
これらのリソースは、コーパス側事前学習エビデンスとベンチマーク側評価カバレッジの直接比較を可能にする。
関連論文リスト
- BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian [33.0382356140632]
バイエルン地方の文化基盤と方言能力を評価するためのベンチマークであるBavGroundを紹介する。
BavGroundには、言語ごとに8つの文化領域にまたがる206の複数の選択肢がある。
強い多言語モデルは全体としては最高に機能するが、バイエルン語項目やソースグラウンドの質問では性能が低下する。
論文 参考訳（メタデータ） (2026-08-13T07:23:53Z) - On the Limitations of Cross-Lingual Consistency in Multilingual Text-to-image Generation [79.18001266925245]
LingT2Iは、33Kプロンプトを持つ10の広く使われている言語をカバーするベンチマークである。
我々は、言語不平等と言語依存のトレードオフを明らかにする包括的な言語間分析を行う。
論文 参考訳（メタデータ） (2026-08-11T14:49:23Z) - Beyond Literal Translation: Evaluating Cultural Effectiveness in Social Media UGC [39.66998905774523]
我々はソーシャルメディア翻訳のベンチマークであるCULTURE-MTを紹介する。
CULTURE-MTは、14のドメインにまたがる1,002のノートで構成され、カルチャーロードされたシンボルと言語スタイルの特徴に基づいて4つのタイプに分類される。
本稿では,表現精度と文化的適応性に着目し,新しい評価基準としての文化的有効性を提案する。
論文 参考訳（メタデータ） (2026-05-25T09:29:25Z) - The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。
まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。
第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。
第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文 参考訳（メタデータ） (2026-04-22T06:19:46Z) - Toward Culturally Grounded Natural Language Processing [0.33842793760651557]
本稿では,多言語性能の不平等,多言語間移動,文化意識評価,文化アライメント,ベンチマーク設計批判を対象とする50以上の論文を合成する。
フィールドは、ベンチマークスプレッドシート内の独立した行として扱われる言語から、コミュニケーティブなエコロジーのモデリングへと移行すべきである、と我々は主張する。
論文 参考訳（メタデータ） (2026-03-27T02:08:32Z) - Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook [50.10594064510559]
DOVEは、人文テキストとLLM出力を直接比較する分散評価フレームワークである。
DOVEは, ダウンストリームタスクと31.56%の相関を達成し, 高い信頼性を保ちながら, 文化ごとのサンプル500点程度の信頼性を維持した。
論文 参考訳（メタデータ） (2026-03-16T08:33:10Z) - AmharicStoryQA: A Multicultural Story Question Answering Benchmark in Amharic [25.361090310093072]
評価は一つの言語に存在する有意義な文化的変化を見落としていると論じる。
アンハラ語話者の文化的多彩な物語に基づくベンチマークであるtextbftextitAmharicStoryQAを紹介する。
論文 参考訳（メタデータ） (2026-02-02T20:28:19Z) - CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。
文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。
実験結果から,文化的理解を効果的に評価できることが示唆された。
論文 参考訳（メタデータ） (2025-09-19T17:47:48Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳（メタデータ） (2024-02-14T18:16:54Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。