論文の概要: Q-Ponder: A Unified Training Pipeline for Reasoning-based Visual Quality Assessment

• arxiv url: http://arxiv.org/abs/2506.05384v2
• Date: Thu, 12 Jun 2025 16:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 13:18:14.124816
• Title: Q-Ponder: A Unified Training Pipeline for Reasoning-based Visual Quality Assessment
• Title（参考訳）: Q-Ponder: 推論に基づく視覚品質評価のための統一トレーニングパイプライン
• Authors: Zhuoxuan Cai, Jian Zhang, Xinbin Yuan, Peng-Tao Jiang, Wenxiang Chen, Bowen Tang, Lujian Yao, Qiyuan Wang, Jinwen Chen, Bo Li,
• Abstract要約: MLLM(Multimodal large language model)は、解釈可能な評価によって視覚的品質を評価する。 冷間開始段階と強化学習に基づく微調整段階からなる統合された2段階訓練枠組みを提案する。 これら2つの段階から派生したモデルをQ-Ponder-CIとQ-Ponderと呼ぶ。
• 参考スコア（独自算出の注目度）: 10.701522670464463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies demonstrate that multimodal large language models (MLLMs) can proficiently evaluate visual quality through interpretable assessments. However, existing approaches typically treat quality scoring and reasoning descriptions as separate tasks with disjoint optimization objectives, leading to a trade-off: models adept at quality reasoning descriptions struggle with precise score regression, while score-focused models lack interpretability. This limitation hinders the full potential of MLLMs in visual quality assessment, where accuracy and interpretability should be mutually reinforcing. To address this, we propose a unified two-stage training framework comprising a cold-start stage and a reinforcement learning-based fine-tuning stage. Specifically, in the first stage, we distill high-quality data from a teacher model through expert-designed prompts, initializing reasoning capabilities via cross-entropy loss supervision. In the second stage, we introduce a novel reward with Group Relative Policy Optimization (GRPO) to jointly optimize scoring accuracy and reasoning consistency. We designate the models derived from these two stages as Q-Ponder-CI and Q-Ponder. Extensive experiments show that Q-Ponder achieves state-of-the-art (SOTA) performance on quality score regression benchmarks, delivering up to 6.5% higher SRCC on cross-domain datasets. Furthermore, Q-Ponder significantly outperforms description-based SOTA models, including its teacher model Qwen-2.5-VL-72B, particularly in description accuracy and reasonableness, demonstrating the generalization potential over diverse tasks.
• Abstract（参考訳）: 近年の研究では,多モーダル大言語モデル(MLLM)が解釈可能な評価によって視覚的品質を十分に評価できることが示されている。 しかし、既存のアプローチは、品質評価と推論記述を、解離した最適化目標を持つ別のタスクとして扱うのが一般的であり、トレードオフをもたらす: 品質推論記述に適合するモデルは、正確なスコア評価に苦しむ一方で、スコア中心のモデルは、解釈可能性に欠ける。 この制限により、視覚的品質評価におけるMLLMの潜在能力は損なわれ、正確性と解釈性は相互に強化されるべきである。 そこで本研究では,冷間開始段階と強化学習に基づく微調整段階からなる統合型2段階学習フレームワークを提案する。 特に第1段階では、教師モデルから専門家が設計したプロンプトを通じて高品質なデータを蒸留し、クロスエントロピー損失監視による推論機能を初期化する。 第2段階では、スコアリング精度と推論整合性を共同で最適化するために、グループ相対政策最適化(GRPO)による新たな報酬を導入する。 これら2つの段階から派生したモデルをQ-Ponder-CIとQ-Ponderと呼ぶ。 大規模な実験により、Q-Ponderは品質スコア回帰ベンチマークで最先端(SOTA)のパフォーマンスを達成し、クロスドメインデータセット上で最大6.5%のSRCCを提供することが示された。 さらに、Q-Ponderは、教師モデルであるQwen-2.5-VL-72Bを含む記述に基づくSOTAモデルよりも、特に記述精度と合理的性が高く、多種多様なタスクに対する一般化可能性を示している。

関連論文リスト

• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Breaking Annotation Barriers: Generalized Video Quality Assessment via Ranking-based Self-Supervision [49.46606936180063]
  ビデオ品質評価(VQA)は、様々なビデオ処理システムにおける品質の定量化に不可欠である。 我々はVQAのための自己教師型学習フレームワークを導入し、大規模でラベルなしのWebビデオから品質評価機能を学ぶ。 既存のVQAベンチマークよりも10倍のデータセットでトレーニングを行うことで、ゼロショットのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-05-06T15:29:32Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• BloomVQA: Assessing Hierarchical Multi-modal Comprehension [18.21961616174999]
  我々は、様々なレベルの理解を反映した絵物語に基づいて、複数の選択サンプルを収集する。 モデル一貫性を特徴付ける新しい尺度と自動データ拡張を可能にする新しい階層グラフ表現にマッピングする。 従来のモデルと比較して、GPT-4Vは全ての理解レベルよりも精度が向上し、特に高次タスクでは視覚入力をバイパスする傾向を示す。
  論文  参考訳（メタデータ） (2023-12-20T02:22:49Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。