論文の概要: Cultural Moment Benchmark: Evaluating Video Cultural Reasoning and Grounding in Southeast Asia

• arxiv url: http://arxiv.org/abs/2608.23065v1
• Date: Mon, 24 Aug 2026 10:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.019372
• Title: Cultural Moment Benchmark: Evaluating Video Cultural Reasoning and Grounding in Southeast Asia
• Title（参考訳）: カルチャーモーメントベンチマーク:東南アジアにおけるビデオカルチャー推論とグラウンドの評価
• Abstract要約: ビデオにおける文化的理解とは、文化的概念の象徴的・時間的重要性を把握することである。 我々はこれを3つの能力に分解する: 概念が何を象徴しているかを命名し、それをビデオで視覚的に認識し、そのサブイベントを時間内に見つけ出す。 既存のビデオ文化ベンチマークでは、この3つの能力がボトルネックを隠す単一のスコアに崩壊する傾向にある。
• 参考スコア（独自算出の注目度）: 15.86185099689643
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cultural understanding in video means more than recognizing what is visible; it requires grasping the symbolic and temporal significance of cultural concepts. We decompose this into three abilities: naming what a concept symbolizes, visually recognizing it on video, and locating its sub-events in time. Existing video-cultural benchmarks tend to test what is seen, collapsing these three abilities into a single score that hides the bottleneck. We introduce the Cultural Moment Benchmark (CMB): 306 expert-curated concepts from seven countries in Southeast Asia across five categories. We evaluate each concept through three stages, one per ability. Given a description, Stage 1 (S1) selects from four candidate concept names, Stage 2 (S2) selects from four candidate video moments, and Stage 3 (S3) predicts the start and end times of the moment in a video. To keep each stage focused on a distinct ability, we use three design choices: semantic-similarity distractors (S1, S2), unlabeled video moments (S2), and free-form localization on a different example video (S3). Across six vision-language models, failure modes vary by ability and modality. i) Even the strongest closed-source models score below 30% when all three stages must be correct; ii) The three abilities do not fully cascade: naming a concept correctly helps half the models recognize it on video, but recognizing it has little effect on locating the sub-event in time; iii) Audio is complementary, redundant, or distracting depending on the concept, more often distracting in non-Latin-script countries; removing both audio and subtitles hurts Games and Music the most. Our 14-rater human study shows that even Expert raters score below chance on concepts from a neighboring country, indicating that CMB requires country-specific cultural knowledge. CMB acts as a diagnostic harness, attributing failures to a specific ability or modality.
• Abstract（参考訳）: ビデオにおける文化的理解は、目に見えるものを認識すること以上の意味を持ち、文化的概念の象徴的・時間的重要性を把握する必要がある。 我々はこれを3つの能力に分解する: 概念が何を象徴しているかを命名し、それをビデオで視覚的に認識し、そのサブイベントを時間内に見つけ出す。 既存のビデオ文化ベンチマークでは、この3つの能力がボトルネックを隠す単一のスコアに崩壊する傾向にある。 文化モーメントベンチマーク(CMB:Cultural Moment Benchmark: CMB): 東南アジア7ヶ国から5つのカテゴリで306の専門的認定概念を紹介する。 それぞれの概念を3段階、能力ごとに評価する。 説明があると、ステージ1(S1)は4つの候補概念名から選択し、ステージ2(S2)は4つの候補映像モーメントから選択し、ステージ3(S3)はビデオ中のモーメントの開始時刻と終了時刻を予測する。 それぞれのステージを異なる能力にフォーカスするために、意味相似性障害(S1, S2)、ラベルなしビデオモーメント(S2)、異なるサンプルビデオ(S3)のフリーフォームローカライゼーション(S3)という3つの設計選択を用いる。 6つの視覚言語モデルにおいて、障害モードは能力とモダリティによって異なる。 一 最強のクローズドソースモデルでさえ三段階すべて正しなければならない場合の30%未満のスコア 二 当該三つの能力が完全にカスケードするものではないこと。概念の命名は、ビデオ上での半分のモデルを認識するのを正しく支援するが、その認識は、時間内にサブイベントを特定することにはほとんど影響しない。 三 オーディオは、概念により相補的、冗長的、または気を散らし、ラテン語以外の国でしばしば気を散らし、オーディオとサブタイトルの両方を取り除き、ゲームとミュージックを最も傷つけます。 私たちの14ラッターの人間による研究は、専門家のラテンダーでさえ隣国のコンセプトに見合う確率を低くし、CMBが国固有の文化的知識を必要とすることを示しています。 CMBは診断ハーネスとして機能し、特定の能力やモダリティに障害をもたらす。

関連論文リスト

• HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence [82.1284258781622]
  視覚知能は、視覚世界を理解し、解釈し、合成しようとする。 HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-27T01:43:47Z)
• Do Thought Streams Matter? Evaluating Reasoning in Gemini Vision-Language Models for Video Scene Understanding [8.886670910437234]
  内部推論トレースは、視覚言語モデルにおける映像シーンの理解に影響を与える。 われわれは、GoogleのGemini 2.5 FlashとFlash Liteの4つの設定を100時間の動画から抽出したシーンでベンチマークした。 追加の思考高原から品質が急速に向上し、最初の数百のトークンで改善が起きていることが分かりました。
  論文  参考訳（メタデータ） (2026-04-13T08:40:10Z)
• AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking [59.15472057710525]
  AVMeme Examは、音声、歌、音楽、サウンドエフェクトにまたがる、1000以上の象徴的なインターネットの音とビデオの人間による評価ベンチマークである。 各ミームは、表面コンテンツからコンテキスト、感情、使用法、世界知識への理解レベルを評価するユニークなQ&Aと組み合わせられる。 このベンチマークを用いて,最先端のマルチモーダル言語モデル (MLLM) を人間の参加者とともに体系的に評価した。
  論文  参考訳（メタデータ） (2026-01-25T01:40:15Z)
• CURVE: A Benchmark for Cultural and Multilingual Long Video Reasoning [58.73855961335903]
  CURVE(Cultural Understanding and Reasoning in Video Evaluation)は、多言語・多言語ビデオ推論のための挑戦的なベンチマークである。 18のグローバルローカライズされた、地域固有の文化的ビデオから、高品質で完全な人為的なアノテーションを含んでいる。 以上の結果から, SoTA Video-LLM は人間レベルの精度よりもかなり低い精度で動作していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-15T18:15:06Z)
• Seeing Culture: A Benchmark for Visual Reasoning and Grounding [27.53575961739132]
  我々は、新しいアプローチによる文化的推論に焦点を当てたSeeing Culture Benchmark(SCB)を紹介する。 SCBベンチマークは、東南アジア7カ国の5つのカテゴリで128の文化的なアーティファクトをキャプチャする1,065のイメージで構成されている。
  論文  参考訳（メタデータ） (2025-09-20T03:47:49Z)
• VideoVista-CulturalLingo: 360$^\circ$ Horizons-Bridging Cultures, Languages, and Domains in Video Comprehension [66.03062468036507]
  本稿では,ビデオ理解における文化的,言語的,ドメイン分割の橋渡しを目的とした,最初のビデオ評価ベンチマークであるVideoVista-CulturalLingoを紹介する。 VideoVista-CulturalLingoには1,389の動画と3,134のQAペアが含まれています。
  論文  参考訳（メタデータ） (2025-04-23T13:47:30Z)
• All-in-one: Understanding and Generation in Multimodal Reasoning with the MAIA Benchmark [70.92907745196153]
  MAIAはビデオにおける視覚言語モデルの推論能力の詳細な調査のためのベンチマークである。 視覚入力の役割を強調することによって、言語と視覚関係を歪めようとする12の推論カテゴリを考察する。 MAIAは、そのデザイン、推論カテゴリ、使用するメトリクス、およびビデオの言語と文化に関して、他の利用可能なビデオベンチマークとは異なる。
  論文  参考訳（メタデータ） (2025-02-24T09:25:51Z)
• Dense Video Captioning: A Survey of Techniques, Datasets and Evaluation Protocols [53.706461356853445]
  アントリムされたビデオには、関連のあるイベント、依存関係、コンテキスト、重複するイベント、オブジェクトとオブジェクトのインタラクション、ドメインの特異性、その他の説明に値するセマンティクスがある。 ビデオキャプション(DVC)は、特定のビデオ内の異なるイベントを検出し、記述することを目的としている。
  論文  参考訳（メタデータ） (2023-11-05T01:45:31Z)
• MERLOT: Multimodal Neural Script Knowledge Models [74.05631672657452]
  我々はMERLOTを紹介した。MERLOTは、翻訳された音声で何百万ものYouTubeビデオを視聴することで、マルチモーダルなスクリプト知識を学習するモデルである。 MERLOTは、時間的コモンセンスの強力なアウトオブボックス表現を示し、12の異なるビデオQAデータセット上で最先端のパフォーマンスを達成する。 Visual Commonsense Reasoning では、MERLOT が80.6%の精度で正解し、同じ大きさの最先端のモデルを3%以上上回っている。
  論文  参考訳（メタデータ） (2021-06-04T17:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。