論文の概要: Multimodal LLMs Can Reason about Aesthetics in Zero-Shot

• arxiv url: http://arxiv.org/abs/2501.09012v2
• Date: Thu, 17 Apr 2025 17:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:34:50.366459
• Title: Multimodal LLMs Can Reason about Aesthetics in Zero-Shot
• Title（参考訳）: マルチモーダルLCMはゼロショットの美学を推論できる
• Authors: Ruixiang Jiang, Changwen Chen,
• Abstract要約: 本稿では,マルチモーダルLCMの推論能力を審美判断に効果的に活用する方法を検討する。 MLLMは美的推論において幻覚の傾向を示しており、主観的な意見と根拠のない芸術的解釈が特徴である。 我々の研究は、人間の美的基準を真に理解し、評価し、生成できるAIシステムへの道を開いた。
• 参考スコア（独自算出の注目度）: 19.5597806965592
• License:
• Abstract: The rapid progress of generative art has democratized the creation of visually pleasing imagery. However, achieving genuine artistic impact - the kind that resonates with viewers on a deeper, more meaningful level - requires a sophisticated aesthetic sensibility. This sensibility involves a multi-faceted reasoning process extending beyond mere visual appeal, which is often overlooked by current computational models. This paper pioneers an approach to capture this complex process by investigating how the reasoning capabilities of Multimodal LLMs (MLLMs) can be effectively elicited for aesthetic judgment. Our analysis reveals a critical challenge: MLLMs exhibit a tendency towards hallucinations during aesthetic reasoning, characterized by subjective opinions and unsubstantiated artistic interpretations. We further demonstrate that these limitations can be overcome by employing an evidence-based, objective reasoning process, as substantiated by our proposed baseline, ArtCoT. MLLMs prompted by this principle produce multi-faceted and in-depth aesthetic reasoning that aligns significantly better with human judgment. These findings have direct applications in areas such as AI art tutoring and as reward models for generative art. Ultimately, our work paves the way for AI systems that can truly understand, appreciate, and generate artworks that align with the sensible human aesthetic standard.
• Abstract（参考訳）: 生成芸術の急速な進歩は、視覚的に喜ぶイメージの創造を民主化してきた。 しかし、真に芸術的な影響 – より深く、より意味のあるレベルで視聴者と共鳴するタイプ – を達成するためには、洗練された美的感受性が必要である。 この感性は、単に視覚的魅力を超える多面的推論プロセスを含むが、これはしばしば現在の計算モデルによって見落とされがちである。 本稿では,マルチモーダルLSM(MLLM)の推論能力が審美判断に効果的にもたらすことができるかを検討することによって,この複雑なプロセスを捉えるためのアプローチを開拓する。 MLLMは,主観的意見と未確立の芸術的解釈を特徴とする審美的推論において幻覚の傾向を示す。 さらに,提案するベースラインであるArtCoTを根拠として,エビデンスに基づく客観的推論プロセスを用いることで,これらの制限を克服できることを実証する。 この原理によって引き起こされたMLLMは、多面的かつ深い審美的推論を生み出す。 これらの発見は、AIアートチュータリングや、生成芸術の報酬モデルのような分野に直接的な応用をもたらす。 究極的には、私たちの研究は、人間の美的基準を真に理解し、評価し、生成できるAIシステムへの道を開いた。

関連論文リスト

• CognArtive: Large Language Models for Automating Art Analysis and Decoding Aesthetic Elements [1.0579965347526206]
  芸術は普遍言語であり、様々な方法で解釈できる。 大規模言語モデル (LLM) とマルチモーダル大規模言語モデル (MLLM) の可用性は,これらのモデルがアートワークの評価と解釈にどのように使用できるのかという疑問を提起する。
  論文  参考訳（メタデータ） (2025-02-04T18:08:23Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
  MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。 ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。 本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-06-24T17:52:16Z)
• AesExpert: Towards Multi-modality Foundation Model for Image Aesthetics Perception [74.11069437400398]
  我々は,21,904の多様なソースイメージと88Kの人間の自然言語フィードバックを備えたコーパスリッチな審美的批評データベースを開発した。 AesExpertと呼ばれる、マルチモダリティのAesthetic Expertモデルを実現するために、オープンソースの一般基盤モデルを微調整します。 実験により、提案したAesExpertモデルは、最先端のMLLMよりもはるかに優れた審美的知覚性能を提供することが示された。
  論文  参考訳（メタデータ） (2024-04-15T09:56:20Z)
• Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
  我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。 この制限に寄与できる4つの独立した要因を特定します。 オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
  論文  参考訳（メタデータ） (2024-02-12T03:04:42Z)
• Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
  本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
  論文  参考訳（メタデータ） (2024-01-19T07:10:13Z)
• AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception [64.25808552299905]
  AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。 本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。 本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
  論文  参考訳（メタデータ） (2024-01-16T10:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。