論文の概要: An Evaluation Framework for Product Images Background Inpainting based on Human Feedback and Product Consistency

• arxiv url: http://arxiv.org/abs/2412.17504v1
• Date: Mon, 23 Dec 2024 12:03:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:17.184432
• Title: An Evaluation Framework for Product Images Background Inpainting based on Human Feedback and Product Consistency
• Title（参考訳）: ヒューマンフィードバックと製品整合性に基づく製品画像背景ペイント評価フレームワーク
• Authors: Yuqi Liang, Jun Luo, Xiaoxi Guo, Jianqi Bi,
• Abstract要約: 製品広告アプリケーションでは、プロダクトイメージにおけるAI技術を活用した背景の自動塗り絵が重要なタスクとして現れている。 HFPC(Human Feedback and Product Consistency)は、2つのモジュールに基づいて生成した製品イメージを自動的に評価する。 HFPCは、他のオープンソースのビジュアル品質評価モデルと比較して、最先端(96.4%の精度)を実現している。
• 参考スコア（独自算出の注目度）: 4.177224329586615
• License:
• Abstract: In product advertising applications, the automated inpainting of backgrounds utilizing AI techniques in product images has emerged as a significant task. However, the techniques still suffer from issues such as inappropriate background and inconsistent product in generated product images, and existing approaches for evaluating the quality of generated product images are mostly inconsistent with human feedback causing the evaluation for this task to depend on manual annotation. To relieve the issues above, this paper proposes Human Feedback and Product Consistency (HFPC), which can automatically assess the generated product images based on two modules. Firstly, to solve inappropriate backgrounds, human feedback on 44,000 automated inpainting product images is collected to train a reward model based on multi-modal features extracted from BLIP and comparative learning. Secondly, to filter generated product images containing inconsistent products, a fine-tuned segmentation model is employed to segment the product of the original and generated product images and then compare the differences between the above two. Extensive experiments have demonstrated that HFPC can effectively evaluate the quality of generated product images and significantly reduce the expense of manual annotation. Moreover, HFPC achieves state-of-the-art(96.4% in precision) in comparison to other open-source visual-quality-assessment models. Dataset and code are available at: https://github.com/created-Bi/background inpainting products dataset/.
• Abstract（参考訳）: 製品広告アプリケーションでは、プロダクトイメージにおけるAI技術を活用した背景の自動塗り絵が重要なタスクとして現れている。 しかし、生成した製品画像における不適切な背景や不整合性製品といった問題に依然として悩まされており、生成した製品画像の品質を評価する既存のアプローチは、このタスクの評価が手作業によるアノテーションに依存しているため、人間のフィードバックと矛盾することが多い。 上記の問題を解消するため,HFPC(Human Feedback and Product Consistency)を提案する。 まず,不適切な背景を解決するために,BLIPから抽出したマルチモーダル特徴と比較学習に基づいて報酬モデルをトレーニングするために,44,000個の自動塗布製品画像に対する人間のフィードバックを収集する。 第二に、不整合生成物を含む生成物画像のフィルタリングには、原画像及び生成物画像の積を分割し、上記2つの相違点を比較する微調整セグメンテーションモデルを用いる。 大規模な実験により,HFPCは生成した製品画像の品質を効果的に評価し,手動アノテーションのコストを大幅に削減できることが示された。 さらにHFPCは、他のオープンソースのビジュアル品質評価モデルと比較して、最先端(96.4%の精度)を実現している。 データセットとコードは、https://github.com/created-Bi/background inpainting products dataset/.comで利用可能である。

関連論文リスト

• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• E-Commerce Inpainting with Mask Guidance in Controlnet for Reducing Overcompletion [13.67619785783182]
  本稿では,拡散モデル生成におけるコア痛点,すなわちオーバーコンプリートを系統的に解析し,対処する。 本手法は実用化において有望な成果を上げており,本分野でのインスピレーションとなる技術レポートとして機能することを願っている。
  論文  参考訳（メタデータ） (2024-09-15T10:10:13Z)
• Dual-Branch Network for Portrait Image Quality Assessment [76.27716058987251]
  ポートレート画像品質評価のためのデュアルブランチネットワーク(PIQA)を提案する。 我々は2つのバックボーンネットワーク(textiti.e., Swin Transformer-B)を使用して、肖像画全体と顔画像から高品質な特徴を抽出する。 我々は、画像シーンの分類と品質評価モデルであるLIQEを利用して、品質認識とシーン固有の特徴を補助的特徴として捉えている。
  論文  参考訳（メタデータ） (2024-05-14T12:43:43Z)
• Automated Virtual Product Placement and Assessment in Images using Diffusion Models [1.63075356372232]
  本稿では,新しい3段階完全自動化VPPシステムを提案する。 第1段階では、言語誘導画像セグメンテーションモデルにより、製品塗布のための画像内の最適な領域を特定する。 第2段階では、いくつかの製品イメージを微調整した安定拡散(SD)を使用して、以前に特定された候補領域に製品を塗布する。 最終段階では、低画質の画像を効果的に取り出すために設計された「アライメントモジュール」が導入されている。
  論文  参考訳（メタデータ） (2024-05-02T09:44:13Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Dehazed Image Quality Evaluation: From Partial Discrepancy to Blind Perception [35.257798506356814]
  画像のデハジングは、ぼんやりとした画像から空間的詳細を復元することを目的としている。 本稿では,部分的不一致に基づく画像品質評価手法を提案する。 Blind Perceptionを用いたNo-Reference品質評価尺度に拡張する。
  論文  参考訳（メタデータ） (2022-11-22T23:49:14Z)
• Assessing a Single Image in Reference-Guided Image Synthesis [14.936460594115953]
  本稿では,単一生成画像の品質を定量的に評価するための,参照誘導画像合成アセスメント(RISA)を提案する。 このアノテーションは監視信号として大きすぎるため、1)粗いラベルを洗練するためのピクセルワイズスキームと、2)ナイーブ回帰器を置き換える複数のバイナリ分類器の2つの手法を導入する。 RISAは人間の好みと非常に整合しており、モデル間での転送も良好である。
  論文  参考訳（メタデータ） (2021-12-08T08:22:14Z)
• Learning Conditional Knowledge Distillation for Degraded-Reference Image Quality Assessment [157.1292674649519]
  劣化参照IQA(DR-IQA)という実用的な解を提案する。 DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。 私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
  論文  参考訳（メタデータ） (2021-08-18T02:35:08Z)
• Compound Frechet Inception Distance for Quality Assessment of GAN Created Images [7.628527132779575]
  GANの注目すべき応用の1つは、ディープフェイク(deep fakes)として知られる偽の人間の顔を開発することである。 生成された画像の品質を測定することは本質的に主観的だが、標準化されたメトリクスを使って品質を客観化しようとする試みがなされている。 我々は,より広い視覚的欠陥をカバーするために,低レベルの特徴を統合することにより,評価プロセスの堅牢性を向上させることを提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:53:27Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Semantic Photo Manipulation with a Generative Image Prior [86.01714863596347]
  GANは、ユーザスケッチ、テキスト、セマンティックラベルなどの入力に条件付きイメージを合成することができる。 GANが入力画像を正確に再現することは困難である。 本稿では,GANが以前に学んだイメージを個々の画像の統計に適応させることにより,これらの問題に対処する。 提案手法は,入力画像の外観と一致して,入力画像を正確に再構成し,新たなコンテンツを合成することができる。
  論文  参考訳（メタデータ） (2020-05-15T18:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。