論文の概要: Toward Cultural Alignment: Human-Centered Evaluation of Multimodal AI Stories Across Five African Communities
- arxiv url: http://arxiv.org/abs/2608.29209v1
- Date: Sat, 29 Aug 2026 11:45:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.877803
- Title: Toward Cultural Alignment: Human-Centered Evaluation of Multimodal AI Stories Across Five African Communities
- Title（参考訳）: 文化的アライメントに向けて:5つのアフリカのコミュニティを対象としたマルチモーダルAIストーリーの人間中心評価
- Abstract要約: 我々は、AIによって生成されたマルチモーダルストーリーが、彼らが代表するコミュニティの生きたプラクティス、関係、言語、価値、そして視覚的な期待とどのように一致しているかを検討する。
我々は,5つのアフリカ・コミュニティの文化の代表者19名を対象に,コミュニティを基盤とした混合メソッドの評価を行った。
我々は,5つのより広い文化的指標カテゴリーと8つの誤認識の繰り返しメカニズムからなる文化的アライメントの分類法を開発した。
- 参考スコア（独自算出の注目度）: 13.137760017965087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we examine how well AI-generated multimodal stories align with the lived practices, relationships, language, values, and visual expectations of the communities they represent. We conduct a community-grounded mixed-methods evaluation with 19 culture representatives across five African communities, combining quantitative annotations with qualitative focus group discussions. We find that cultural alignment depends not simply on recognizable cultural markers, but on how those markers fit social, linguistic, procedural, and visual context. From these evaluations, we develop a taxonomy of cultural alignment comprising five broader cultural marker categories and eight recurring mechanisms of misalignment. We additionally evaluate five multimodal LLM judges to examine whether automated evaluation can approximate community-grounded judgments at scale. Judge reliability and score calibration vary substantially across communities, with no single judge performing consistently across all five settings. These findings motivate community-calibrated evaluation pipelines in which automated judges are validated against community judgments to determine where they can be trusted and where human review remains necessary.
- Abstract（参考訳）: 本稿では,AIによるマルチモーダルストーリーが,コミュニティの生きた実践,関係性,言語,価値観,視覚的期待とどのように一致しているかを検討する。
我々は,アフリカの5つのコミュニティの文化の代表者19名を対象に,定量的アノテーションと質的なフォーカスグループディスカッションを組み合わせた混合メソッドの評価を行った。
文化的アライメントは、単に認識可能な文化的マーカーではなく、それらのマーカーが社会的、言語的、手続き的、視覚的コンテキストにどのように適合するかに依存している。
これらの評価から,5つのより広範な文化的指標カテゴリーと8つの誤認識機構からなる文化的アライメントの分類法を開発した。
また, 5 人のマルチモーダル LLM 審査員を評価対象とし, 自動評価が地域社会の判断を大規模に近似できるかどうかを検証した。
判断の信頼性とスコアの校正は、コミュニティによって大きく異なり、単一の審査員が5つの設定すべてで一貫して実行することはない。
これらの知見は、自動審査員がコミュニティ判断に対して検証され、信頼できる場所と人間のレビューが必要な場所を判断する、コミュニティ校正評価パイプラインを動機付けている。
関連論文リスト
- CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia [72.20656906184539]
カルチャーコンバース(CultureConverse)は、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。
その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。
人間のアノテーション実験は、評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
論文 参考訳（メタデータ） (2026-08-28T14:56:46Z) - CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。
CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。
大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
論文 参考訳（メタデータ） (2026-06-01T08:25:12Z) - Cultural Authenticity: Comparing LLM Cultural Representations to Native Human Expectations [7.285754268528876]
我々は,大規模言語モデル世代と局所的な期待値との整合性を評価するための,人間中心のフレームワークを提案する。
ヒト由来の文化遺産とモデル由来の文化表現との整合性について検討した結果,西洋中心のキャリブレーションが明らかとなった。
論文 参考訳（メタデータ） (2026-04-03T22:39:15Z) - Culture is Everywhere: A Call for Intentionally Cultural Evaluation [36.20861746863831]
文献的文化的評価について論じる: 評価のあらゆる側面に埋め込まれた文化的仮定を体系的に検証するアプローチ。
我々は、現在のベンチマークプラクティスを超えて、意味と今後の方向性について議論する。
論文 参考訳（メタデータ） (2025-09-01T09:39:21Z) - A Game-Theoretic Negotiation Framework for Cross-Cultural Consensus in LLMs [10.655783463895325]
大型言語モデル (LLMs) は、WEIRD (Western, Educated, Industrialized, Rich, Democratic) の文化的偏見を示す。
この単文化的な観点は、支配的な価値観を強化し、多様な文化的視点を疎外する可能性がある。
公正で堅牢な異文化間の合意を促進するために設計された体系的枠組みを導入する。
論文 参考訳（メタデータ） (2025-06-16T08:42:39Z) - CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation [61.130639734982395]
本稿では,画像の文化的関連度を評価する新しい評価指標であるCAIReを紹介する。
本フレームワークは,イメージ内の実体と概念を知識ベースに基盤として,実情報を用いて各文化ラベルに対して独立した評価を行う。
論文 参考訳（メタデータ） (2025-06-10T17:16:23Z) - The Case for "Thick Evaluations" of Cultural Representation in AI [11.53198252426806]
生成的AI画像モデルは、非西洋文化を表現することができないことから、ますます評価されている。
これらの評価は、人々が自身の表現を定義する方法を無視して、還元的な表現の理想を通じて行われると論じる。
我々は、AI画像における社会世界の表現を評価するための、よりきめ細やかで、位置的かつ非帰的な測定フレームワークである「厚さ評価」の考え方を紹介した。
論文 参考訳（メタデータ） (2025-03-24T19:01:14Z) - Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs [7.802103248428407]
我々は,現在の調査に基づく評価手法の背景にある3つの仮定を特定し,検証する。
提示形式間の不安定性,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性などについて検討した。
論文 参考訳（メタデータ） (2025-03-11T17:59:53Z) - Rethinking AI Cultural Alignment [1.8434042562191815]
人間の文化的価値は、特定のAIシステムのコンテキスト内で理解されなければならないことを示す。
文化的アライメントは双方向のプロセスとして再編成されるべきである、と私たちは主張する。
論文 参考訳（メタデータ） (2025-01-13T23:42:37Z) - CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。
CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。
本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
論文 参考訳（メタデータ） (2025-01-02T14:42:37Z) - Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。
MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。
改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
論文 参考訳（メタデータ） (2024-12-04T13:27:09Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳（メタデータ） (2024-05-24T01:49:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。