論文の概要: Demystifying the Visual Quality Paradox in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2506.15645v1
• Date: Wed, 18 Jun 2025 17:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.75644
• Title: Demystifying the Visual Quality Paradox in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける視覚的品質パラドックスのデミステレーション
• Authors: Shuo Xing, Lanqing Guo, Hongyuan Hua, Seoyoung Lee, Peiran Li, Yufei Wang, Zhangyang Wang, Zhengzhong Tu,
• Abstract要約: 最近のMLLM(Multimodal Large Language Models)は、視覚言語タスクのベンチマークに優れていますが、入力された視覚的品質がその応答をどのように形作るかについてはほとんど分かっていません。 本研究は,MLLMを先導する最初の体系的な研究と,視覚言語ベンチマークのスイートを対象とする。 モデル,タスク,さらには個々のインスタンスのパフォーマンスさえも,人間の知覚した忠実さから逸脱した画像を改善することができる。
• 参考スコア（独自算出の注目度）: 49.154146792279946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Multimodal Large Language Models (MLLMs) excel on benchmark vision-language tasks, yet little is known about how input visual quality shapes their responses. Does higher perceptual quality of images already translate to better MLLM understanding? We conduct the first systematic study spanning leading MLLMs and a suite of vision-language benchmarks, applying controlled degradations and stylistic shifts to each image. Surprisingly, we uncover a visual-quality paradox: model, task, and even individual-instance performance can improve when images deviate from human-perceived fidelity. Off-the-shelf restoration pipelines fail to reconcile these idiosyncratic preferences. To close the gap, we introduce Visual-Quality Test-Time Tuning (VQ-TTT)-a lightweight adaptation module that: (1) inserts a learnable, low-rank kernel before the frozen vision encoder to modulate frequency content; and (2) fine-tunes only shallow vision-encoder layers via LoRA. VQ-TTT dynamically adjusts each input image in a single forward pass, aligning it with task-specific model preferences. Across the evaluated MLLMs and all datasets, VQ-TTT lifts significant average accuracy, with no external models, cached features, or extra training data. These findings redefine ``better'' visual inputs for MLLMs and highlight the need for adaptive, rather than universally ``clean'', imagery, in the new era of AI being the main data customer.
• Abstract（参考訳）: 最近のMLLM(Multimodal Large Language Models)は、視覚言語タスクのベンチマークに優れていますが、入力された視覚的品質がその応答をどのように形作るかについてはほとんど分かっていません。 画像の高精細度化はMLLMの理解を向上させるか? 本研究は,MLLMと一連の視覚ベンチマークを対象とし,各画像に制御された劣化とスタイリスティックな変化を適用した最初の体系的な研究である。 驚くべきことに、私たちは視覚品質のパラドックスを発見した: モデル、タスク、さらには個々のインスタンスのパフォーマンスさえも、人間の知覚された忠実さから逸脱した画像を改善することができる。 オフザシェルフ復元パイプラインは、これらの慣用的な好みの調整に失敗する。 このギャップを埋めるために,視覚品質テストタイムチューニング (VQ-TTT) という軽量適応モジュールを導入する。(1) 冷凍ビジョンエンコーダの前に学習可能な低ランクカーネルを挿入し,(2) 微調整のみをLoRA経由で行う。 VQ-TTTは、各入力画像を1つのフォワードパスで動的に調整し、タスク固有のモデルの好みに合わせて調整する。 評価されたMLLMとすべてのデータセット全体で、VQ-TTTは、外部モデル、キャッシュされた機能、または余分なトレーニングデータなしで、重要な平均精度を持ち上げる。 これらの発見はMLLMの視覚入力である ``better'' を再定義し、AIが主要なデータ顧客である新しい時代のイメージである ‘`clean'' よりも適応性の必要性を強調した。

関連論文リスト

• HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding [91.0552157725366]
  本稿では,HoVLEという新しい高性能モノリシックVLMを提案する。 視覚的入力とテキスト入力を共有空間に変換し、LLMはテキストと同じ方法で画像を処理できる。 実験の結果,HoVLEは様々なベンチマークにおいて,主要な構成モデルに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T18:59:59Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
  視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
  論文  参考訳（メタデータ） (2022-08-19T14:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。