論文の概要: Gamma: Toward Generic Image Assessment with Mixture of Assessment Experts
- arxiv url: http://arxiv.org/abs/2503.06678v1
- Date: Sun, 09 Mar 2025 16:07:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:48:36.576410
- Title: Gamma: Toward Generic Image Assessment with Mixture of Assessment Experts
- Title(参考訳): Gamma: ジェネリックイメージアセスメントに向けて
- Authors: Hantao Zhou, Rui Yang, Longxiang Tang, Guanyi Qin, Yan Zhang, Runze Hu, Xiu Li,
- Abstract要約: textbfGeneric imtextbfAge AssessmenttextbfMentモデルであるtextbfGammaは、ミックスデータセットのトレーニングを通じて、さまざまなシーンからのイメージを効果的に評価することができる。
Gammaモデルは、6つの画像アセスメントシナリオにまたがる12のデータセットでトレーニングされ、評価されます。
- 参考スコア(独自算出の注目度): 23.48816491333345
- License:
- Abstract: Image assessment aims to evaluate the quality and aesthetics of images and has been applied across various scenarios, such as natural and AIGC scenes. Existing methods mostly address these sub-tasks or scenes individually. While some works attempt to develop unified image assessment models, they have struggled to achieve satisfactory performance or cover a broad spectrum of assessment scenarios. In this paper, we present \textbf{Gamma}, a \textbf{G}eneric im\textbf{A}ge assess\textbf{M}ent model using \textbf{M}ixture of \textbf{A}ssessment Experts, which can effectively assess images from diverse scenes through mixed-dataset training. Achieving unified training in image assessment presents significant challenges due to annotation biases across different datasets. To address this issue, we first propose a Mixture of Assessment Experts (MoAE) module, which employs shared and adaptive experts to dynamically learn common and specific knowledge for different datasets, respectively. In addition, we introduce a Scene-based Differential Prompt (SDP) strategy, which uses scene-specific prompts to provide prior knowledge and guidance during the learning process, further boosting adaptation for various scenes. Our Gamma model is trained and evaluated on 12 datasets spanning 6 image assessment scenarios. Extensive experiments show that our unified Gamma outperforms other state-of-the-art mixed-training methods by significant margins while covering more scenes. Code: https://github.com/zht8506/Gamma.
- Abstract(参考訳): 画像アセスメントは画像の品質と美性を評価することを目的としており、自然やAIGCシーンなど様々なシナリオに適用されている。
既存の方法は、主にこれらのサブタスクやシーンを個別に扱う。
いくつかの研究は統合画像アセスメントモデルの開発を試みているが、満足な性能を達成するか、幅広い範囲のアセスメントシナリオをカバーすることに苦慮している。
本稿では,混合データセットのトレーニングにより,さまざまなシーンの画像を効果的に評価できる「textbf{G}eneric im\textbf{A}ge Assessment\textbf{M}ent model of \textbf{M}ixture of \textbf{A}ssessment Experts」を提案する。
イメージアセスメントにおける統合トレーニングの達成は、さまざまなデータセットにまたがるアノテーションバイアスによる重大な課題を示す。
この問題に対処するために、我々はまず、共有された専門家と適応的な専門家を使って、異なるデータセットの共通知識と特定の知識を動的に学習するMOAE(Mixture of Assessment Experts)モジュールを提案する。
さらに,SDP(Scene-based Differential Prompt)戦略を導入し,シーン固有のプロンプトを用いて学習過程における事前知識とガイダンスを提供し,様々なシーンへの適応をさらに促進する。
Gammaモデルは、6つの画像アセスメントシナリオにまたがる12のデータセットでトレーニングされ、評価されます。
広汎な実験により、Gammaはより多くのシーンをカバーしながら、他の最先端の混合訓練方法よりも優れた性能を発揮した。
コード:https://github.com/zht8506/Gamma.com
関連論文リスト
- What Makes a Scene ? Scene Graph-based Evaluation and Feedback for Controllable Generation [29.42202665594218]
Scene-Benchは、自然シーンの生成における現実的一貫性の評価と強化を目的とした総合的なベンチマークである。
Scene-Benchは、シーングラフに注釈を付けた100万の画像の大規模なデータセットであるMegaSGと、新しい評価指標であるSGScoreで構成されている。
本研究では,シーングラフと画像間の不一致を識別・補正することにより,生成した画像を反復的に洗練するシーングラフフィードバックパイプラインを開発する。
論文 参考訳(メタデータ) (2024-11-23T03:40:25Z) - Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。
逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。
我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文 参考訳(メタデータ) (2024-06-19T08:07:14Z) - FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。
FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。
FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
論文 参考訳(メタデータ) (2024-04-23T03:42:14Z) - Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。
本研究では,既存のデータ拡張技術の欠点について検討する。
Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
論文 参考訳(メタデータ) (2024-03-28T17:23:45Z) - Domain Generalization for Mammographic Image Analysis with Contrastive
Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。
より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。
提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文 参考訳(メタデータ) (2023-04-20T11:40:21Z) - D-LEMA: Deep Learning Ensembles from Multiple Annotations -- Application
to Skin Lesion Segmentation [14.266037264648533]
画像に対するアノテーションの意見のコレクションを活用することは、ゴールド基準を推定する興味深い方法です。
深層モデル学習時のアノテーションの不一致に対処する手法を提案する。
論文 参考訳(メタデータ) (2020-12-14T01:51:22Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳(メタデータ) (2020-10-30T10:57:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。