論文の概要: LLaVA-Assessor: Building the Foundation LMM For Visual Quality Assessment

• arxiv url: http://arxiv.org/abs/2609.26205v1
• Date: Tue, 11 Aug 2026 02:21:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.921039
• Title: LLaVA-Assessor: Building the Foundation LMM For Visual Quality Assessment
• Title（参考訳）: LLaVA-Assessor:ビジュアル品質評価のための基礎的LMMの構築
• Abstract要約: 統合データ構築およびモデルトレーニングシステムであるLLaVA-Assessorを提案する。 マルチモーダル入力をサポートするために,画像とビデオの両方を効率的に処理できる適応型モデルアーキテクチャを設計する。 結果として得られるオールインワンLMM LLaVA-Assessor-GIGAは、画像/映像品質スコアリングテストセットと4つの視覚品質解釈ベンチマークにおいて、優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 99.93308312347885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning with the human visual system~(HVS) in perceiving and evaluating the quality of visual signals is a central objective of machine-vision-based visual quality assessment systems. With the rapid progress of large multi-modal models~(LMMs), visual question answering provides a promising paradigm for building unified foundation models for visual quality assessment under multi-modal and multi-task scenarios. Inspired by the classical ``perception-decision" process in HVS-based quality evaluation, we formulate visual quality assessment for LMM-based machine vision as two complementary tasks: ``quality interpretation'' and ``quality scoring". Centered on these objectives, we propose LLaVA-Assessor, a unified data construction and model training system. To support multi-modal inputs, we design an adaptive model architecture that enables efficient processing of both images and videos. For data construction, we develop rigorous human annotation protocols and a novel machine-synthesis-dominated data expansion pipeline to build a large-scale and high-quality datasets. Furthermore, we introduce a simple yet effective prompt disentanglement strategy to alleviate training-objective confusion in multi-task learning, thereby enabling stable and coherent joint training. The resulting all-in-one LMM LLaVA-Assessor-GIGA achieves superior performance on $11$ image/video quality scoring test sets and 4 visual quality interpretation benchmarks. Extensive results demonstrate the effectiveness of integrating structured data construction, adaptive model design, and multi-task joint training for automated visual quality assessment. Our work provides compelling insights for developing foundation LMMs for automatic visual quality assessment. Project page at https://github.com/jzhws/LLaVA-Assessor.
• Abstract（参考訳）: 視覚信号の品質を知覚・評価する際の人間の視覚システム~(HVS)の対応は、機械ビジョンに基づく視覚品質評価システムの中心的な目的である。 大規模マルチモーダルモデル~(LMM)の急速な進歩に伴い、視覚的質問応答は、マルチモーダルおよびマルチタスクシナリオ下での視覚的品質評価のための統一基盤モデルを構築するための有望なパラダイムを提供する。 HVSに基づく品質評価における古典的「知覚決定」プロセスに着想を得て,LMMに基づく機械ビジョンの視覚的品質評価を,「品質解釈」と「品質評価」の2つの相補的なタスクとして定式化する。 これらの目的を中心に、統一データ構築およびモデルトレーニングシステムであるLLaVA-Assessorを提案する。 マルチモーダル入力をサポートするために,画像とビデオの両方を効率的に処理できる適応型モデルアーキテクチャを設計する。 データ構築のために、我々は、大規模で高品質なデータセットを構築するために、厳密なヒューマンアノテーションプロトコルと、機械合成に支配された新しいデータ拡張パイプラインを開発する。 さらに,マルチタスク学習における学習目的の混同を軽減し,安定的かつ一貫性のある共同訓練を可能にするため,簡易かつ効果的な急進的遠絡戦略を導入する。 結果として得られるオールインワンLMM LLaVA-Assessor-GIGAは、画像/映像品質スコアリングテストセットと4つの視覚品質解釈ベンチマークで優れたパフォーマンスを達成する。 その結果, 構造化データ構築, 適応モデル設計, マルチタスクジョイントトレーニングの統合による視覚的品質自動評価の有効性が示された。 我々の研究は、視覚的品質の自動評価のための基礎的LMMを開発する上で、魅力的な洞察を提供する。 Project page at https://github.com/jzhws/LLaVA-Assessor.com

関連論文リスト

• VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment [88.83260031198023]
  本稿では,視覚エンコーダを中心とした生成事前学習パイプラインを提案し,VITAL-Series LMMを開発した。 これまでで最大のVQualAトレーニングデータセットである、450万以上の視覚言語(VL)ペアを構築した。 モデルの定量的スコアリング精度を同時に向上するマルチタスクトレーニングワークフローを採用している。
  論文  参考訳（メタデータ） (2025-11-22T07:55:21Z)
• VIS-Shepherd: Constructing Critic for LLM-based Data Visualization Generation [17.6462454905092]
  MLLM(Multimodal Large Language Model)をベースとした評価モデルであるVIS-Shepherdを紹介する。 当社のアプローチの核心は、高品質な可視化基準データセットを構築するためのフレームワークです。 実験の結果,オープンソースMLLMモデルでは,小型(7Bパラメータ)のMLLMモデルでも大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2025-06-16T10:15:38Z)
• Teaching LMMs for Image Quality Scoring and Interpreting [71.1335005098584]
  Q-SiT(Quality Scoring and Interpreting Joint Teaching)は,画像品質のスコアリングと解釈を同時に行うための統合フレームワークである。 Q-SiTは、Q-SiT-miniと共に画像品質スコアリングと解釈タスクを同時に実行する最初のモデルである。 実験結果から,Q-SiTはIQA能力の優れた両タスクにおいて高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-03-12T09:39:33Z)
• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• A Lightweight Parallel Framework for Blind Image Quality Assessment [7.9562077122537875]
  ブラインド画像品質評価(BIQA)のための軽量並列フレームワーク(LPF)を提案する。 まず,事前学習した特徴抽出ネットワークを用いて視覚特徴を抽出し,視覚特徴を変換するための簡易で効果的な特徴埋め込みネットワーク(FEN)を構築した。 本稿では,サンプルレベルのカテゴリ予測タスクとバッチレベルの品質比較タスクを含む,新たな2つのサブタスクを提案する。
  論文  参考訳（メタデータ） (2024-02-19T10:56:58Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。