論文の概要: CULTURESCORE: Evaluating Cultural Faithfulness in Video Generation Models

• arxiv url: http://arxiv.org/abs/2606.07311v1
• Date: Fri, 05 Jun 2026 14:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.77909
• Title: CULTURESCORE: Evaluating Cultural Faithfulness in Video Generation Models
• Title（参考訳）: CULTURESCORE:ビデオ生成モデルにおける文化的信条の評価
• Authors: Anku Rani, Wei Dai, Shravan Nayak, Pattie Maes, Mahdi M. Kalayeh, Paul Pu Liang,
• Abstract要約: VideoScoreのような現在のメトリクスは、視覚的品質のみを測定するが、文化的忠実性を評価するメカニズムを提供しない。 本稿では,文化的忠実度を3次元に分解する構成的評価フレームワークであるCultureScoreを提案する。 我々はこのフレームワークを10か国にまたがる評価スイートを通じて運用し、3つの最先端モデルで6180個のビデオを生成する。
• 参考スコア（独自算出の注目度）: 46.154946394307814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As video generation models like Veo 3.1 and LTX-2 advance, their ability to accurately represent diverse global cultures remains a critical yet understudied frontier. Current metrics, such as VideoScore, only measure visual quality but offer no mechanism for assessing cultural faithfulness. Consequently, a model that replaces a Namaste with a handshake receives the same score as one that generates the gesture correctly. We propose CultureScore, a compositional evaluation framework that decomposes cultural faithfulness into three granular dimensions: Identity (who is represented), Context (culturally localized background), and Behavior (normative gestures and interactions). We operationalize this framework through an evaluation suite spanning 10 countries, yielding 6,180 generated videos across three state-of-the-art models. Our evaluation reveals that no current model achieves culturally faithful video generation: the best-performing model reaches only 56.8\% overall CultureScore, with Behavior the most challenging dimension, which remains below 52\% across all models. Furthermore, human preference rankings align directionally with CultureScore but are inverted relative to VideoScore; the highest-scoring model on visual quality was ranked last by annotators, underscoring that cultural faithfulness is an essential criterion for equitable video generation.
• Abstract（参考訳）: Veo 3.1 や LTX-2 のようなビデオ生成モデルが進歩するにつれ、多様なグローバル文化を正確に表現する能力は依然として重要で未調査のフロンティアである。 VideoScoreのような現在のメトリクスは、視覚的品質のみを測定するが、文化的忠実性を評価するメカニズムを提供しない。 これにより、Namasteをハンドシェイクに置き換えるモデルは、ジェスチャーを正しく生成するモデルと同じスコアを受け取る。 本稿では,文化的忠実度を,アイデンティティ(表現),コンテキスト(文化的に局所的な背景),行動(規範的ジェスチャーと相互作用)の3次元に分解する構成的評価フレームワークであるCultureScoreを提案する。 我々はこのフレームワークを10か国にまたがる評価スイートを通じて運用し、3つの最先端モデルで6180個のビデオを生成する。 我々の評価は、現在のモデルが文化的に忠実なビデオ生成を達成することはないことを示している: 最高のパフォーマンスモデルは、全体のCultureScoreの56.8\%にしか達せず、行動は最も困難な次元であり、すべてのモデルで52\%以下である。 さらに、人間の嗜好ランクはCultureScoreと直交するが、VideoScoreに比較して逆転し、視覚的品質に関する最高評価モデルがアノテータによって最下位にランク付けされ、文化的忠実性は平等なビデオ生成に不可欠な基準である、と強調した。

関連論文リスト

• Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens [9.000522371422628]
  ベンチマークのフレームカルチャーを分類する4つのフレームワークを紹介します。 20の文化指標を質的に検討し,6つの方法論的問題を同定した。 我々の目標は、静的リコールタスクを超える文化ベンチマークの開発をガイドすることです。
  論文  参考訳（メタデータ） (2025-10-07T13:42:44Z)
• CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation [61.130639734982395]
  本稿では,画像の文化的関連度を評価する新しい評価指標であるCAIReを紹介する。 本フレームワークは,イメージ内の実体と概念を知識ベースに基盤として,実情報を用いて各文化ラベルに対して独立した評価を行う。
  論文  参考訳（メタデータ） (2025-06-10T17:16:23Z)
• CulturalFrames: Assessing Cultural Expectation Alignment in Text-to-Image Models and Evaluation Metrics [23.567641319277943]
  テキスト・ツー・イメージ(T2I)モデルと評価指標のアライメントを定量化する。 文化フレームは、文化的表現の厳格な評価のための新しいベンチマークである。 モデルや国全体では、平均して44%の文化的な期待が失われていることが分かっています。
  論文  参考訳（メタデータ） (2025-06-10T14:21:46Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• On the Cultural Gap in Text-to-Image Generation [75.69755281031951]
  テキスト・トゥ・イメージ(T2I)生成における課題のひとつは、トレーニングデータに存在する文化ギャップの意図しない反映である。 クロスカルチャー画像を生成するT2Iモデルの能力を体系的に評価するベンチマークは存在しない。 本稿では,モデルが対象文化にどの程度適しているかを評価するため,包括的評価基準付きChallenging Cross-Cultural (C3)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-06T13:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。