論文の概要: Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2606.29689v1
- Date: Mon, 29 Jun 2026 01:31:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.017621
- Title: Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models
- Title（参考訳）: MLLMは人間のように批判できるか? マルチモーダル大言語モデルにおけるオープンエンディング美的推論の評価
- Abstract要約: オープンエンドの審美的批判はマルチモーダル大言語モデル(MLLM)の課題である
我々は、参照ベースの類似度指標を用いて、写真ごとに複数のランク付けされた人間の批判に対して、5つのオープンウェイトMLLMをスコア付けする。
厳密な語彙と学習されたメトリクスは、人間の批評と弱い一致しか示さない。
我々は、参照に基づく類似性は、人間の批評の選択性や特異性よりも、流動的で包括的な批評スタイルに報いると論じている。
- 参考スコア（独自算出の注目度）: 16.0895345187708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-ended aesthetic critique is a challenge for multimodal large language models (MLLMs): unlike multiple-choice aesthetic benchmarks, it has no single correct answer, and most aesthetic evaluation has measured models against numeric scores rather than the written critiques people actually give. We evaluate MLLM critiques against ranked human references and ask whether they are close to human ones. Using the Reddit Photo Critique Dataset, we score five open-weight MLLMs against multiple ranked human critiques per photo with reference-based similarity metrics, under six prompt conditions that disentangle persona framing, aspect hinting, length control, and single- versus multi-pass generation, and add an image-grounding control that feeds each model the wrong photograph. We find that reference-based similarity gives a misleading picture. Stricter lexical and learned metrics show only weak alignment with human critiques, while a coarse embedding cosine reports broad topical overlap that the grounding control traces to a stable house style rather than image-specific observation. Behaviorally, the models diverge from humans in consistent ways the scores do not surface: even under a length cap they write two to three times as much, cover nearly every aesthetic aspect where humans are selective, engage each aspect more uniformly and at greater depth, and repeat themselves across critiques of the same photo where humans vary. We argue that reference-based similarity rewards a fluent, comprehensive critique style rather than the selectivity and specificity of human critique, and discuss implications for evaluating and training open-ended multimodal generation.
- Abstract（参考訳）: オープンエンドの審美的批評は、マルチモーダルな大規模言語モデル(MLLM)の課題であり、複数選択の審美的ベンチマークとは異なり、単一の正解がない。
我々はMLLM批判をランク付けされた人間の参照に対して評価し、それらが人間に近いかどうかを問う。
Reddit Photo Critique Datasetを使って、写真ごとにランク付けされた複数の人的批評に対して5つのオープンウェイトMLLMをスコア付けします。
参照ベースの類似性は誤解を招く。
厳密な語彙と学習されたメトリクスは、人間の批評と弱い一致しか示さないが、粗い埋め込みコサインは、接地制御が画像特有の観察よりも安定した住宅スタイルに辿り着くことを広範囲にわたる重複を報告している。
長さの上限の下でも2倍から3倍の量を書き、人間の選択する美的側面をほぼすべてカバーし、それぞれの側面をより均一に、より深く取り込む。
我々は、参照に基づく類似性は、人間の批評の選択性や特異性よりも、流動的で包括的な批評スタイルに報いると論じ、オープンエンドマルチモーダル世代の評価と訓練の意義について議論する。
関連論文リスト
- PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation [118.49150310327475]
PersonaShotは、マルチショットビデオ生成における物語の連続性に関する最初の人中心のベンチマークである。
約1,000のマルチショットセグメントと16のメトリクスがあり、物理的連続性、感情力学、映画文法にまたがっている。
論文 参考訳（メタデータ） (2026-08-17T15:34:54Z) - Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans [50.71222402701153]
目標指向検索(COCO-Search18)における3つの汎用大言語モデル(MLLM)と人間の眼球運動スキャンパスを比較した。
いずれも低エントロピー、大振幅、自己整合性のスキャンパスであり、2人の人間が互いに同意するよりもはるかに近い。
このギャップは、回答アライメントとサリエンシのメトリクスが測定できないプロセス軸の上に置かれている。それらが見逃しているため、そのような指標は人間のようなビジョンを証明できない。ゼロショットモデルは結果と空間的疑問に適合するが、時間的、プロセスレベルではない。
論文 参考訳（メタデータ） (2026-08-17T12:54:39Z) - Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency [3.9792042887828565]
オブジェクトの重要度を測定するために、CSS(Counterfactual Semantic Saliency)を導入する。
AIと人間のセマンティックアライメントを評価するために,人間の心理物理学ベースラインに対して目立った視覚言語モデルを検証した。
モデルは、大きな物体(サイズバイアス)、画像の中心にある物体(中心バイアス)、高い塩分濃度オブジェクトに対して、(人間に関する)過度な信頼を示す。
論文 参考訳（メタデータ） (2026-05-13T06:11:47Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳（メタデータ） (2025-09-15T19:06:10Z) - CriticAL: Critic Automation with Language Models [31.1575961776287]
Criticalは、モデル予測とデータ間の不一致をキャプチャする要約統計を生成する。
批評家は、誤った批判を幻覚させることなく確実に正しい批評を生成する。
論文 参考訳（メタデータ） (2024-11-10T20:41:35Z) - VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
視覚言語モデル(VHELM)の全体的評価について述べる。
VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。
私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
論文 参考訳（メタデータ） (2024-10-09T17:46:34Z) - CLAIR: Evaluating Image Captions with Large Language Models [69.46906537973518]
本稿では,機械生成画像のキャプション評価手法であるCLAIRを提案する。
本評価では, CLAIRは, 従来の指標と比較して, キャプション品質の人的判断と強い相関性を示した。
Clairは、言語モデルが割り当てられたスコアの背後にある根底にある推論を識別できるようにすることで、ノイズに解釈可能な結果を提供する。
論文 参考訳（メタデータ） (2023-10-19T17:59:01Z) - Privacy Assessment on Reconstructed Images: Are Existing Evaluation
Metrics Faithful to Human Perception? [86.58989831070426]
本研究では,手作りのメトリクスの忠実さを,再構成画像からの人間のプライバシー情報の認識に適用する。
本稿では,SemSimと呼ばれる学習に基づく尺度を提案し,オリジナル画像と再構成画像のセマンティック類似性を評価する。
論文 参考訳（メタデータ） (2023-09-22T17:58:04Z) - Understanding Aesthetics with Language: A Photo Critique Dataset for
Aesthetic Assessment [6.201485014848172]
74K画像と220Kコメントを含むCritique Photo Redditデータセット(RPCD)を提案する。
我々は、美的判断の指標として批判の感情の極性を利用する。
論文 参考訳（メタデータ） (2022-06-17T08:16:20Z) - Self-critiquing models for assisting human evaluators [11.1006983438712]
我々は、行動クローンを用いて自然言語批判(自然言語批判コメント)を書くために、大きな言語モデルを微調整する。
トピックベースの要約タスクでは、私たちのモデルによって書かれた批判は、人間が見逃したであろう要約の欠陥を見つけるのに役立ちます。
より大きなモデルはより有用な批評を書くことができ、ほとんどのタスクでは、批判しにくいアウトプットがあるにもかかわらず、自己批判の方が優れている。
論文 参考訳（メタデータ） (2022-06-12T17:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。