論文の概要: WikiOriginQA: Automated Construction of a QA Dataset with Knowledge Origins for Analyzing Cultural Bias
- arxiv url: http://arxiv.org/abs/2610.30677v1
- Date: Thu, 22 Oct 2026 03:42:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.20308
- Title: WikiOriginQA: Automated Construction of a QA Dataset with Knowledge Origins for Analyzing Cultural Bias
- Title(参考訳): WikiOriginQA: 文化バイアス分析のための知識源を用いたQAデータセットの自動構築
- Abstract要約: 既存の文化知識に関するデータセットは、典型的には、文化に精通した人間アノテータによって作成されている。
ウィキオリジンQA(WikiOriginQA)は、ウィキペディアの異なる言語版の作成日時を通して、知識の起源を客観的に表現したQAデータセットである。
- 参考スコア(独自算出の注目度): 14.142593183804882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing datasets on cultural knowledge have been typically created by human annotators familiar with each culture. However, the process requires considerable human effort, presenting a significant challenge to scalability. To address this challenge, we introduce WikiOriginQA, a QA dataset automatically constructed by objectively representing the origins of knowledge through the creation dates of different Wikipedia language editions. Experimental results with the created dataset confirm that LLM performance tends to be biased toward Anglophone cultures. Furthermore, the results suggest the importance of knowledge propagation into the Anglosphere. These findings demonstrate the validity of our automated approach, enabling cultural bias evaluations with superior scalability across diverse languages without extensive manual annotation.
- Abstract(参考訳): 既存の文化知識に関するデータセットは、典型的には、文化に精通した人間アノテータによって作成されている。
しかし、このプロセスには相当な人的努力が必要であり、スケーラビリティに対する大きな課題を提示します。
この課題に対処するために、ウィキオリジンQA(WikiOriginQA)を導入する。これは、ウィキペディアの異なる言語版の作成日によって、知識の起源を客観的に表現することで、自動的に構築されるQAデータセットである。
作成したデータセットによる実験結果から,LLMの性能は英語文化に偏っていることが確認された。
さらに,英語圏への知識伝播の重要性が示唆された。
これらの結果は,広範囲な手作業によるアノテーションを伴わずに,多様な言語にまたがる優れたスケーラビリティを備えた文化的バイアス評価を可能にする,我々の自動アプローチの有効性を示すものである。
関連論文リスト
- ChinaHeritaQA: A Culturally-Grounded Visual Question Answering Dataset for World Heritage Sites in China [15.354700972682856]
ChinaHeritaQAは、中国のユネスコ世界遺産で視覚言語モデル(VLM)の文化的推論能力を評価するためのベンチマークデータセットである。
このデータセットは、7つの認知次元にまたがる14,133のバイリンガル(中国語/英語)の複数選択QAペアとペアリングされた2,279の内蔵画像からなる。
論文 参考訳(メタデータ) (2026-06-08T03:00:45Z) - CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。
文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。
実験結果から,文化的理解を効果的に評価できることが示唆された。
論文 参考訳(メタデータ) (2025-09-19T17:47:48Z) - MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。
モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。
オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
論文 参考訳(メタデータ) (2025-05-27T19:29:40Z) - From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。
これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。
我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
論文 参考訳(メタデータ) (2025-05-22T09:00:01Z) - CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」
我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
論文 参考訳(メタデータ) (2024-05-22T20:19:10Z) - COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning [37.843051974342124]
実世界の様々な資源から派生した,厳密な人的検証を行う新しい中国語指導調律データセットであるCOIG-CQIAを紹介する。
我々はCOIG-CQIAに関する広範な実験を行い、それらを強力なベースラインモデルやデータセットと比較する。
実験の結果,COIG-CQIAでトレーニングしたモデルは,様々なベンチマークで高い競争性能を達成できた。
論文 参考訳(メタデータ) (2024-03-26T19:24:18Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。