Fugu-MT 論文翻訳(概要): Aesthetic Image Captioning with Saliency Enhanced MLLMs

論文の概要: Aesthetic Image Captioning with Saliency Enhanced MLLMs

arxiv url: http://arxiv.org/abs/2509.04378v3
Date: Tue, 09 Sep 2025 08:09:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-10 12:33:22.809391
Title: Aesthetic Image Captioning with Saliency Enhanced MLLMs
Title（参考訳）: Saliency Enhanced MLLM を用いた審美的画像キャプション
Authors: Yilin Tao, Jiashui Huang, Huaze Xu, Ling Shao,
Abstract要約: Aesthetic Image Captioning (AIC)は、画像美学のテキスト記述を作成することを目的としている。本稿では,画像から審美性特徴を効果的かつ効果的に抽出するAesthetic Saliency Module (IASM)を紹介する。また,MLLMのイメージエンコーダとしてIAS-ViTを設計した。
参考スコア（独自算出の注目度）: 26.924932114765596
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Aesthetic Image Captioning (AIC) aims to generate textual descriptions of image aesthetics, becoming a key research direction in the field of computational aesthetics. In recent years, pretrained Multimodal Large Language Models (MLLMs) have advanced rapidly, leading to a significant increase in image aesthetics research that integrates both visual and textual modalities. However, most existing studies on image aesthetics primarily focus on predicting aesthetic ratings and have shown limited application in AIC. Existing AIC works leveraging MLLMs predominantly rely on fine-tuning methods without specifically adapting MLLMs to focus on target aesthetic content. To address this limitation, we propose the Aesthetic Saliency Enhanced Multimodal Large Language Model (ASE-MLLM), an end-to-end framework that explicitly incorporates aesthetic saliency into MLLMs. Within this framework, we introduce the Image Aesthetic Saliency Module (IASM), which efficiently and effectively extracts aesthetic saliency features from images. Additionally, we design IAS-ViT as the image encoder for MLLMs, this module fuses aesthetic saliency features with original image features via a cross-attention mechanism. To the best of our knowledge, ASE-MLLM is the first framework to integrate image aesthetic saliency into MLLMs specifically for AIC tasks. Extensive experiments demonstrated that our approach significantly outperformed traditional methods and generic MLLMs on current mainstream AIC benchmarks, achieving state-of-the-art (SOTA) performance.
Abstract（参考訳）: Aesthetic Image Captioning (AIC) は、画像美学のテキスト記述を生成することを目的としており、計算美学の分野において重要な研究方向となっている。近年,MLLM (Pretrained Multimodal Large Language Models) が急速に進歩し,視覚とテキストの両モードを統合した画像美学研究が著しく増加している。しかしながら、画像美学に関する既存の研究のほとんどは、主に美的評価の予測に焦点を合わせており、AICにおいて限定的な応用が示されている。既存のAICの作業は、MLLMをターゲットの美的内容に特化させることなく、主に微調整の手法に依存している。この制限に対処するために、美的サリエンシをMLLMに明示的に組み込んだエンドツーエンドフレームワークであるAesthetic Saliency Enhanced Multimodal Large Language Model (ASE-MLLM)を提案する。本フレームワークでは,画像から美容整合性特徴を効率よく,効果的に抽出する画像美容整合モジュール (IASM) を導入する。さらに, MLLMのイメージエンコーダとしてIAS-ViTを設計し, このモジュールは, クロスアテンション機構を用いて, 美的サリエンシ特徴とオリジナル画像特徴とを融合する。我々の知る限り、ASE-MLLMはAICタスク専用のMLLMに画像美的サリエンシを統合する最初のフレームワークである。大規模な実験により,従来の手法や汎用MLLMを従来のAICベンチマークで大幅に上回り,SOTA(State-of-the-art)性能を実現した。

関連論文リスト

Seeing Beyond Words: Self-Supervised Visual Learning for Multimodal Large Language Models [53.06230963851451]
JARVISは、MLLMの自己教師型視覚強調のためのJEPAにインスパイアされたフレームワークである。 JARVISは,MLLMの自己教師型視覚強調のためのJEPAに着想を得たフレームワークである。
論文参考訳（メタデータ） (2025-12-17T19:01:34Z)
Slot-MLLM: Object-Centric Visual Tokenization for Multimodal LLM [21.967692616735196]
マルチモーダル大規模言語モデル (MLLM) は、人工知能の実現において重要なアプローチとして登場した。 MLLMに特化してSlot Attentionに基づくオブジェクト中心型ビジュアルトークンを提案する。この研究は、MLLMや地中自然画像を用いたオブジェクト中心のスロットアテンションの実現可能性の最初の実証である。
論文参考訳（メタデータ） (2025-05-23T10:43:45Z)
Advancing Comprehensive Aesthetic Insight with Multi-Scale Text-Guided Self-Supervised Learning [14.405750888492735]
Image Aesthetic Assessment (IAA) は、画像の美的価値を分析し評価する作業である。 IAAの伝統的な手法は、しばしば単一の美的タスクに集中し、ラベル付きデータセットが不十分である。審美的洞察をニュアンス化した総合的審美的MLLMを提案する。
論文参考訳（メタデータ） (2024-12-16T16:35:35Z)
LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
論文参考訳（メタデータ） (2024-11-07T18:59:16Z)
EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
論文参考訳（メタデータ） (2024-09-25T08:22:00Z)
Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.41055673919895]
本研究では,視覚エンコーダと解像度の混合を用いたMLLMの設計空間について検討する。視覚トークンを補完的な視覚エンコーダの集合から簡単に結合することは、より複雑な混合アーキテクチャや戦略と同じくらい効果的であることがわかった。その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
論文参考訳（メタデータ） (2024-08-28T17:59:31Z)
Dense Connector for MLLMs [89.50595155217108]
Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
論文参考訳（メタデータ） (2024-05-22T16:25:03Z)
AesExpert: Towards Multi-modality Foundation Model for Image Aesthetics Perception [74.11069437400398]
我々は,21,904の多様なソースイメージと88Kの人間の自然言語フィードバックを備えたコーパスリッチな審美的批評データベースを開発した。 AesExpertと呼ばれる、マルチモダリティのAesthetic Expertモデルを実現するために、オープンソースの一般基盤モデルを微調整します。実験により、提案したAesExpertモデルは、最先端のMLLMよりもはるかに優れた審美的知覚性能を提供することが示された。
論文参考訳（メタデータ） (2024-04-15T09:56:20Z)
AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception [64.25808552299905]
AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
論文参考訳（メタデータ） (2024-01-16T10:58:07Z)
PROMPT-IML: Image Manipulation Localization with Pre-trained Foundation Models Through Prompt Tuning [35.39822183728463]
本稿では,改ざん画像を検出するための新しいPrompt-IMLフレームワークを提案する。人間は、意味情報と高周波情報に基づいて、画像の真偽を識別する傾向がある。我々のモデルは8つの典型的なフェイク画像データセットでより良い性能を得ることができる。
論文参考訳（メタデータ） (2024-01-01T03:45:07Z)
From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
論文参考訳（メタデータ） (2023-10-13T02:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。