論文の概要: MuseBench: Benchmarking Intent-Level Audiovisual Arts Understanding in MLLMs
- arxiv url: http://arxiv.org/abs/2606.30026v1
- Date: Mon, 29 Jun 2026 09:27:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.163773
- Title: MuseBench: Benchmarking Intent-Level Audiovisual Arts Understanding in MLLMs
- Title（参考訳）: MuseBench:MLLMにおけるインテントレベルオーディオヴィジュアルアーツのベンチマーク
- Abstract要約: Musebench は、大言語モデル (MLLM) を評価するために設計されたベンチマークである。
映画芸術、静的視覚芸術、舞台芸術、ゲーム芸術にまたがる4,016の質問がある。
28の最先端MLLMのゼロショット評価により、最高の性能モデルでさえ48.29%の精度しか達成していないことが明らかになった。
- 参考スコア（独自算出の注目度）: 66.28927610631096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audiovisual arts encompass diverse creative disciplines, including cinema, visual arts, stage performance, and game design, where artistic meaning arises from deliberate combinations of visual, auditory, and narrative elements (e.g., fear amplified through claustrophobic framing, or grief conveyed through silence and lingering close-ups). True artistic understanding extends beyond recognizing what is depicted to reasoning about why it is expressed through particular creative choices. Despite the strong progress of multimodal large language models (MLLMs), this critical aspect of artistic understanding remains underexplored, as existing benchmarks largely measure perceptual recognition while overlooking reasoning about creative intent. To address this gap, we introduce Musebench, a comprehensive benchmark designed to evaluate MLLMs on nuanced artistic understanding. It comprises 4,016 questions spanning cinematic arts, static visual arts, stage performing arts, and game arts, distilled from over 10K candidate video essays that pair professional commentary with visual demonstration. To capture the open-ended nature of artistic analysis at scale, the benchmark combines single-select and variable-option multi-select questions. All questions are generated and refined through a four-phase iterative pipeline combining shortcut filtering, adversarial distractors, and expert validation. Comprehensive zero-shot evaluation of 28 state-of-the-art MLLMs reveals that even the best-performing model achieves only 48.29% accuracy, substantially below human expert performance of 87.18%, exposing a significant gap in current models' creative domain expertise.
- Abstract（参考訳）: 視覚芸術は、映画、視覚芸術、舞台芸術、ゲームデザインなど様々な創造的な分野を包含しており、視覚的、聴覚的、物語的要素の意図的な組み合わせから芸術的な意味が生まれる(例えば、閉所恐怖症的フレーミングによって増幅された恐怖)。
真の芸術的理解は、何が描かれているかを認識することを超えて、それがなぜ特定の創造的な選択によって表現されるのかを推論する。
MLLM(Multimodal large language model)の強い進歩にもかかわらず、芸術的理解のこの重要な側面は未解明のままであり、既存のベンチマークは主に知覚認識を測り、創造的意図の理由を見落としている。
このギャップに対処するため,我々はMLLMを微妙な芸術的理解に基づいて評価するための総合的なベンチマークであるMusebenchを紹介した。
映画芸術、静的視覚芸術、舞台芸術、ゲーム芸術にまたがる4,016の質問が10万以上の候補ビデオエッセイから抽出され、プロの解説と視覚的なデモンストレーションが合わさっている。
大規模な芸術分析のオープンエンドな性質を捉えるため、このベンチマークでは、単一選択と可変選択の複数の質問を組み合わせている。
すべての質問は、ショートカットフィルタリング、逆散逸器、専門家による検証を組み合わせた4フェーズの反復パイプラインによって生成され、洗練される。
28の最先端MLLMの総合的なゼロショット評価では、最高のパフォーマンスモデルでさえ48.29%の精度しか達成せず、人間の専門家のパフォーマンスは87.18%以下であり、現在のモデルの創造的ドメインの専門知識に重大なギャップがあることが示されている。
関連論文リスト
- Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style [60.562013130566726]
VLMの芸術的スタイル予測能力の基盤となるメカニズムを特徴付ける。
我々は、アートスタイルの予測を駆動する概念を特定するために、潜在空間分解アプローチを採用する。
スタイルの予測に無関係な概念が使われた場合、美術史家はその成功の可能性がある理由を特定した。
論文 参考訳（メタデータ） (2026-03-11T17:49:45Z) - Does CLIP perceive art the same way we do? [0.05833117322405446]
絵画から高レベルの意味情報や文体情報を抽出するCLIPの能力について検討する。
以上の結果から,CLIPの視覚的表現の長所と短所が明らかとなった。
我々の研究は、マルチモーダルシステムにおけるより深い解釈可能性の必要性を強調している。
論文 参考訳（メタデータ） (2025-05-08T13:21:10Z) - CognArtive: Large Language Models for Automating Art Analysis and Decoding Aesthetic Elements [1.0579965347526206]
芸術は普遍言語であり、様々な方法で解釈できる。
大規模言語モデル (LLM) とマルチモーダル大規模言語モデル (MLLM) の可用性は,これらのモデルがアートワークの評価と解釈にどのように使用できるのかという疑問を提起する。
論文 参考訳（メタデータ） (2025-02-04T18:08:23Z) - Multimodal LLMs Can Reason about Aesthetics in Zero-Shot [35.59051707152096]
本稿では,マルチモーダルLCMの推論能力を効果的に活用して審美判断を行う方法について検討する。
MLLMは審美的推論において幻覚を呈する傾向を示し,主観的意見と根拠のない芸術的解釈を特徴とする。
この原理によって引き起こされたMLLMは、人間の判断に非常によく適合する多面的、深い美的推論を生み出す。
論文 参考訳（メタデータ） (2025-01-15T18:56:22Z) - AesBench: An Expert Benchmark for Multimodal Large Language Models on
Image Aesthetics Perception [64.25808552299905]
AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。
本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。
本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
論文 参考訳（メタデータ） (2024-01-16T10:58:07Z) - Impressions: Understanding Visual Semiotics and Aesthetic Impact [66.40617566253404]
画像のセミオティックスを調べるための新しいデータセットであるImpressionsを提示する。
既存のマルチモーダル画像キャプションと条件付き生成モデルは、画像に対する可視的応答をシミュレートするのに苦労していることを示す。
このデータセットは、微調整と少数ショット適応により、画像の印象や美的評価をモデル化する能力を大幅に改善する。
論文 参考訳（メタデータ） (2023-10-27T04:30:18Z) - A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In
Zero Shot [67.00455874279383]
そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。
提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。
ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
論文 参考訳（メタデータ） (2023-05-16T19:13:11Z) - Art Style Classification with Self-Trained Ensemble of AutoEncoding
Transformations [5.835728107167379]
絵画の芸術的スタイルは豊かな記述物であり、アーティストが創造的なビジョンをどのように表現し表現するかについての視覚的知識と深い本質的な知識の両方を明らかにする。
本稿では,高度な自己指導型学習手法を用いて,クラス内およびクラス間変動の少ない複雑な芸術的スタイルを認識することの課題を解決する。
論文 参考訳（メタデータ） (2020-12-06T21:05:23Z) - Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with
Visual Computing for Improved Music Video Analysis [91.3755431537592]
この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。
本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。
実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
論文 参考訳（メタデータ） (2020-02-01T17:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。