論文の概要: What Does the Model See? Representation Validity in Multimodal LLM-Based Video Analysis

• arxiv url: http://arxiv.org/abs/2611.05181v1
• Date: Tue, 03 Nov 2026 16:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:54:20.907881
• Title: What Does the Model See? Representation Validity in Multimodal LLM-Based Video Analysis
• Title（参考訳）: モデルには何が見えるか : マルチモーダルLLM映像解析における表現妥当性
• Abstract要約: 6つのオープンウェイトMLLMと3つの人間アノテーション付きビデオデータセットの入力表現を比較した。 ネイティブビデオのパフォーマンスはモデルによってほとんど異なり、抽出されたテキストのパフォーマンスは.52から.80まで様々である。 最も高いF1表現は、42個の比較のうち17個の人間の符号化された回帰係数を最適に再現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) allow social scientists to analyze video at scale, but researchers must decide which parts of a video to provide as input. We use the term representation validity to examine how text, audio, video, and combined inputs affect measurement and subsequent analysis. We compare input representations across six open-weight MLLMs and three human-annotated video datasets. No representation consistently performs best. On seven news-related constructs, native-video performance varies little across models (macro-F1 = .70-.77), while extracted-text performance ranges from .52 to .80. Three models perform better with text and three with video. Combining inputs rarely improves performance. Higher classification accuracy also does not reliably produce estimates closer to those based on human codes. The highest-F1 representation best reproduces human-coded regression coefficients in 17 of 42 comparisons. Even when each model uses its highest-F1 deployable representation, 45% of sample-prevalence estimates differ from the human-coded benchmark by more than ten percentage points. Input representation therefore requires validation for both the construct being measured and the quantity estimated from the resulting labels.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、社会科学者が大規模に動画を分析することを可能にするが、研究者はビデオのどの部分が入力として提供されるかを決定する必要がある。 テキスト,音声,ビデオ,複合入力が測定およびその後の分析にどのように影響するかを,表現妥当性という用語を用いて検討する。 6つのオープンウェイトMLLMと3つの人間アノテーション付きビデオデータセットの入力表現を比較した。 常に最善を尽くす表現は存在しない。 7つのニュース関連構造では、ネイティブビデオのパフォーマンスはモデルによってほとんど変化しない(macro-F1 = .70-.77)が、抽出テキストのパフォーマンスは.52から.80の範囲である。 テキストでは3つのモデル、ビデオでは3つのモデルのパフォーマンスが向上する。 インプットを組み合わせることでパフォーマンスが向上することは滅多にない。 高い分類精度もまた、人間のコードに基づくものに近い見積もりを確実に生成しない。 最高F1表現は、42個の比較のうち17個の人間の符号化された回帰係数を最適に再現する。 各モデルがF1の最も高いデプロイ可能な表現を使用しても、サンプル値の45%は、人間のコードによるベンチマークと10ポイント以上異なる。 したがって、入力表現は測定される構成物と結果のラベルから推定される量の両方の検証を必要とする。

関連論文リスト

• VideoScore2: Think before You Score in Generative Video Evaluation [69.43069741467603]
  VideoScore2は、視覚的品質、テキスト・ツー・ビデオのアライメント、物理的/常識的一貫性を明確に評価する多次元、解釈可能、そして人間によるアライメントフレームワークである。 我々のモデルは、27,168人の注釈付きビデオを含む大規模なデータセットVideoFeedback2で訓練されている。
  論文  参考訳（メタデータ） (2025-09-26T18:09:03Z)
• VideoAds for Fast-Paced Video Understanding [33.05564519544605]
  広告ビデオ上でMLLMのパフォーマンスをベンチマークするための最初のデータセットであるVideoAdsを紹介する。 VideoAdsは、複雑な時間構造を持つよく計算された広告ビデオで構成されており、テキストに手動で注釈付けされた多様な質問が伴っている。 オープンソースのMLLMであるQwen2.5-VL-72Bは、ビデオ広告で73.35%の精度を実現し、GPT-4oとGemini-1.5 Proを上回っている。
  論文  参考訳（メタデータ） (2025-04-12T17:05:35Z)
• ViLBias: Detecting and Reasoning about Bias in Multimodal Content [6.710013984078675]
  ViLBiasは、マルチモーダルニュースにおけるバイアスの検出と推論のためのフレームワークである。 データセットは40,945のテキストペアで構成されている。 その結果,テキストによる画像の検出精度は3～5%向上した。
  論文  参考訳（メタデータ） (2024-12-22T15:05:30Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。