論文の概要: CulturalFrames: Assessing Cultural Expectation Alignment in Text-to-Image Models and Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2506.08835v2
• Date: Tue, 12 Aug 2025 17:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 14:32:16.076939
• Title: CulturalFrames: Assessing Cultural Expectation Alignment in Text-to-Image Models and Evaluation Metrics
• Title（参考訳）: 文化フレーム:テキスト・ツー・イメージモデルと評価指標における文化的期待整合性の評価
• Authors: Shravan Nayak, Mehar Bhatia, Xiaofeng Zhang, Verena Rieser, Lisa Anne Hendricks, Sjoerd van Steenkiste, Yash Goyal, Karolina Stańczak, Aishwarya Agrawal,
• Abstract要約: テキスト・ツー・イメージ(T2I)モデルと評価指標のアライメントを定量化する。 文化フレームは、文化的表現の厳格な評価のための新しいベンチマークである。 モデルや国全体では、平均して44%の文化的な期待が失われていることが分かっています。
• 参考スコア（独自算出の注目度）: 23.567641319277943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing ubiquity of text-to-image (T2I) models as tools for visual content generation raises concerns about their ability to accurately represent diverse cultural contexts -- where missed cues can stereotype communities and undermine usability. In this work, we present the first study to systematically quantify the alignment of T2I models and evaluation metrics with respect to both explicit (stated) as well as implicit (unstated, implied by the prompt's cultural context) cultural expectations. To this end, we introduce CulturalFrames, a novel benchmark designed for rigorous human evaluation of cultural representation in visual generations. Spanning 10 countries and 5 socio-cultural domains, CulturalFrames comprises 983 prompts, 3637 corresponding images generated by 4 state-of-the-art T2I models, and over 10k detailed human annotations. We find that across models and countries, cultural expectations are missed an average of 44% of the time. Among these failures, explicit expectations are missed at a surprisingly high average rate of 68%, while implicit expectation failures are also significant, averaging 49%. Furthermore, we show that existing T2I evaluation metrics correlate poorly with human judgments of cultural alignment, irrespective of their internal reasoning. Collectively, our findings expose critical gaps, provide a concrete testbed, and outline actionable directions for developing culturally informed T2I models and metrics that improve global usability.
• Abstract（参考訳）: ビジュアルコンテンツ生成ツールとしてのテキスト・ツー・イメージ(T2I)モデルの普及は、さまざまな文化的コンテキストを正確に表現する能力に関する懸念を提起する。 本研究は,T2Iモデルと評価指標のアライメントを,明示的(規定的)および暗黙的(プロンプトの文化的文脈によって示唆される)文化的期待の両方に対して体系的に定量化する最初の研究である。 そこで我々は,視覚世代における文化的表現の厳密な評価を目的とした新しいベンチマークであるCulturalFramesを紹介する。 文化フレームは10か国5か国で、983のプロンプトと4つの最先端T2Iモデルで生成された3637の対応する画像と10万以上の詳細な人間のアノテーションで構成されている。 モデルや国全体では、平均して44%の文化的な期待が失われていることが分かっています。 これらの障害の中で、明らかな期待は驚くほど高い平均68%で失われ、暗黙的な期待障害も重要で、平均49%である。 さらに, 既存のT2I評価指標は, 内的理由にかかわらず, 文化的アライメントの人的判断と相関することが示された。 本研究の成果は, 重要なギャップを明らかにし, 具体的なテストベッドを提供し, グローバルなユーザビリティ向上のための文化的知識を持つT2Iモデルとメトリクスを開発するための実行可能な方向性を概説した。

関連論文リスト

• CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation [61.130639734982395]
  本稿では,画像の文化的関連度を評価する新しい評価指標であるCAIReを紹介する。 本フレームワークは,イメージ内の実体と概念を知識ベースに基盤として,実情報を用いて各文化ラベルに対して独立した評価を行う。
  論文  参考訳（メタデータ） (2025-06-10T17:16:23Z)
• Multimodal Cultural Safety: Evaluation Frameworks and Alignment Strategies [58.88053690412802]
  大規模視覚言語モデル(LVLM)は、観光アシスタントのようなグローバルに分散したアプリケーションにますます導入されている。 CROSSは、LVLMの文化的安全性推論能力を評価するために設計されたベンチマークである。 実験モデルと推論モデルを含む21種類のLVLMを評価した。
  論文  参考訳（メタデータ） (2025-05-20T23:20:38Z)
• Deconstructing Bias: A Multifaceted Framework for Diagnosing Cultural and Compositional Inequities in Text-to-Image Generative Models [3.6335172274433414]
  本稿では,CIS(Component Inclusion Score)を指標として,文化的文脈における画像生成の忠実度を評価する。 我々は、構成的脆弱性と文脈的不整合の観点からバイアスを定量化し、西洋と非西洋の文化的プロンプトの間に顕著なパフォーマンスのギャップを浮き彫りにする。
  論文  参考訳（メタデータ） (2025-04-05T06:17:43Z)
• CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
  視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。 CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。 本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
  論文  参考訳（メタデータ） (2025-01-02T14:42:37Z)
• Beyond Aesthetics: Cultural Competence in Text-to-Image Models [34.98692829036475]
  CUBEは、テキスト・ツー・イメージ・モデルの文化的能力を評価するための最初のベンチマークである。 CUBEは、異なる地理的文化圏の8か国に関連する文化的アーティファクトをカバーしている。 CUBE-CSpaceは、文化的多様性を評価する基盤となる文化的アーティファクトのより大きなデータセットである。
  論文  参考訳（メタデータ） (2024-07-09T13:50:43Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• Navigating Cultural Chasms: Exploring and Unlocking the Cultural POV of Text-To-Image Models [32.99865895211158]
  テキスト・トゥ・イメージ(TTI)モデルに埋め込まれた文化的知覚を,3層にまたがる文化を特徴付けることによって探求する。 本稿では,CLIP空間を用いた本質的な評価を含む総合的な評価手法を提案する。 我々の研究を促進するために、CulText2Iデータセットを導入しました。
  論文  参考訳（メタデータ） (2023-10-03T10:13:36Z)
• On the Cultural Gap in Text-to-Image Generation [75.69755281031951]
  テキスト・トゥ・イメージ(T2I)生成における課題のひとつは、トレーニングデータに存在する文化ギャップの意図しない反映である。 クロスカルチャー画像を生成するT2Iモデルの能力を体系的に評価するベンチマークは存在しない。 本稿では,モデルが対象文化にどの程度適しているかを評価するため,包括的評価基準付きChallenging Cross-Cultural (C3)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-06T13:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。