論文の概要: One Model, Two Minds: Task-Conditioned Reasoning for Unified Image Quality and Aesthetic Assessment
- arxiv url: http://arxiv.org/abs/2603.19779v1
- Date: Fri, 20 Mar 2026 09:14:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:39.068591
- Title: One Model, Two Minds: Task-Conditioned Reasoning for Unified Image Quality and Aesthetic Assessment
- Title(参考訳): 1つのモデルと2つの心:一元的画像品質と美的評価のためのタスク定義推論
- Authors: Wen Yin, Cencen Liu, Dingrui Liu, Bing Su, Yuan-Fang Li, Tao He,
- Abstract要約: 既存の手法では、両方のタスクに同じ推論戦略と報酬を適用するタスク非依存のレシピが採用されていることを示す。
本稿では,各タスクの性質に基づいて後学習を行いながら,視覚言語バックボーンを共有する統合フレームワークであるTATARを提案する。
本研究は,統合された知覚スコアリングのための原則的パラダイムとして,タスク条件付きポストトレーニングを確立した。
- 参考スコア(独自算出の注目度): 37.98880646905503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unifying Image Quality Assessment (IQA) and Image Aesthetic Assessment (IAA) in a single multimodal large language model is appealing, yet existing methods adopt a task-agnostic recipe that applies the same reasoning strategy and reward to both tasks. We show this is fundamentally misaligned: IQA relies on low-level, objective perceptual cues and benefits from concise distortion-focused reasoning, whereas IAA requires deliberative semantic judgment and is poorly served by point-wise score regression. We identify these as a reasoning mismatch and an optimization mismatch, and provide empirical evidence for both through controlled probes. Motivated by these findings, we propose TATAR (Task-Aware Thinking with Asymmetric Rewards), a unified framework that shares the visual-language backbone while conditioning post-training on each task's nature. TATAR combines three components: fast--slow task-specific reasoning construction that pairs IQA with concise perceptual rationales and IAA with deliberative aesthetic narratives; two-stage SFT+GRPO learning that establishes task-aware behavioral priors before reward-driven refinement; and asymmetric rewards that apply Gaussian score shaping for IQA and Thurstone-style completion ranking for IAA. Extensive experiments across eight benchmarks demonstrate that TATAR consistently outperforms prior unified baselines on both tasks under in-domain and cross-domain settings, remains competitive with task-specific specialized models, and yields more stable training dynamics for aesthetic assessment. Our results establish task-conditioned post-training as a principled paradigm for unified perceptual scoring. Our code is publicly available at https://github.com/yinwen2019/TATAR.
- Abstract(参考訳): 画像品質評価(IQA)と画像美的評価(IAA)を単一マルチモーダルな大規模言語モデルで統一することは魅力的であるが、既存の手法では、同じ推論戦略と報酬を両方のタスクに適用するタスクに依存しないレシピを採用している。
IQAは、低レベルで客観的な知覚的手がかりと、簡潔な歪みに着目した推論による利点に依存しているのに対し、IAAは熟考的意味判断を必要とし、ポイントワイズスコアの回帰が不十分である。
我々はこれらを推論ミスマッチと最適化ミスマッチとみなし、制御されたプローブを通して双方の実証的な証拠を提供する。
これらの知見に触発されて、各タスクの性質を訓練後条件付けながら視覚言語バックボーンを共有する統合フレームワークであるTATAR(Task-Aware Thinking with Asymmetric Rewards)を提案する。
TATARは3つの要素を組み合わせる: IQAと簡潔な知覚的合理性、IAAと熟考的美的物語を組み合わせた高速スロータスク固有の推論構成、報酬駆動リファインメントの前にタスクを意識する2段階のSFT+GRPO学習、IQAとサーストンスタイルの完成ランキングにガウスのスコアシェーピングを適用する非対称報酬。
8つのベンチマークにわたる大規模な実験により、TATARは、ドメイン内およびドメイン間両方のタスクにおいて、従来より一貫して統一されたベースラインを上回り、タスク固有の特殊モデルと競合し続け、審美評価のためのより安定したトレーニングダイナミクスをもたらすことが示されている。
本研究は,統合された知覚スコアリングのための原則的パラダイムとして,タスク条件付きポストトレーニングを確立した。
私たちのコードはhttps://github.com/yinwen2019/TATARで公開されています。
関連論文リスト
- Zoom-IQA: Image Quality Assessment with Reliable Region-Aware Reasoning [32.30800226412995]
VLMに基づくIQAモデルであるZoom-IQAを導入し、重要な認知行動を明確にエミュレートする。
Zoom-IQAは、堅牢性、説明可能性、一般化の向上を実現する。
画像復元などの下流タスクへの応用は、Zoom-IQAの有効性をさらに示している。
論文 参考訳(メタデータ) (2026-01-06T11:00:17Z) - AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment [69.06977852423564]
画像品質評価(IQA)は、人間の視覚系に根ざした知覚品質の定量化と解釈の両方を反映している。
AgenticIQAは、IQAを歪み検出、歪み解析、ツール選択、ツール実行の4つのサブタスクに分解する。
本稿では,IQAエージェントに適した大規模命令データセットであるAgenticIQA-200Kと,VLMベースのIQAエージェントの計画,実行,要約機能を評価するための最初のベンチマークであるAgenticIQA-Evalを紹介する。
論文 参考訳(メタデータ) (2025-09-30T09:37:01Z) - Refine-IQA: Multi-Stage Reinforcement Finetuning for Perceptual Image Quality Assessment [22.184690568393126]
強化微調整(Reinforcement fine-tuning, RFT)は、LMMトレーニングのパラダイムである。
マルチステージ RFT IQA フレームワーク (-IQA) を提案する。
結果のRefine-IQAシリーズモデルは、知覚とスコアリングの両方で優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-08-04T22:46:10Z) - Teaching LMMs for Image Quality Scoring and Interpreting [71.1335005098584]
Q-SiT(Quality Scoring and Interpreting Joint Teaching)は,画像品質のスコアリングと解釈を同時に行うための統合フレームワークである。
Q-SiTは、Q-SiT-miniと共に画像品質スコアリングと解釈タスクを同時に実行する最初のモデルである。
実験結果から,Q-SiTはIQA能力の優れた両タスクにおいて高い性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-03-12T09:39:33Z) - UniQA: Unified Vision-Language Pre-training for Image Quality and Aesthetic Assessment [47.207432606050105]
画像品質評価(IQA)と画像審美評価(IAA)は、人間の視覚的品質と美的魅力に対する主観的知覚をシミュレートすることを目的としている。
本稿では,2つのタスクから有用で一般的な表現を抽出するために,視覚言語による品質と美学の事前学習(UniQA)を提案する。
論文 参考訳(メタデータ) (2024-06-03T07:40:10Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。