論文の概要: Foodfusion: A Novel Approach for Food Image Composition via Diffusion Models

• arxiv url: http://arxiv.org/abs/2408.14135v1
• Date: Mon, 26 Aug 2024 09:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 14:33:14.511976
• Title: Foodfusion: A Novel Approach for Food Image Composition via Diffusion Models
• Title（参考訳）: 食品融合 : 拡散モデルによる食品画像合成の新しいアプローチ
• Authors: Chaohua Shi, Xuan Wang, Si Shi, Xule Wang, Mingrui Zhu, Nannan Wang, Xinbo Gao,
• Abstract要約: 大規模で高品質な食品画像合成データセットFC22kを導入する。 本研究では,前景や背景情報を処理・統合するためのFusion Moduleを組み込んだ新しい食品画像合成手法であるFoodfusionを提案する。
• 参考スコア（独自算出の注目度）: 48.821150379374714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Food image composition requires the use of existing dish images and background images to synthesize a natural new image, while diffusion models have made significant advancements in image generation, enabling the construction of end-to-end architectures that yield promising results. However, existing diffusion models face challenges in processing and fusing information from multiple images and lack access to high-quality publicly available datasets, which prevents the application of diffusion models in food image composition. In this paper, we introduce a large-scale, high-quality food image composite dataset, FC22k, which comprises 22,000 foreground, background, and ground truth ternary image pairs. Additionally, we propose a novel food image composition method, Foodfusion, which leverages the capabilities of the pre-trained diffusion models and incorporates a Fusion Module for processing and integrating foreground and background information. This fused information aligns the foreground features with the background structure by merging the global structural information at the cross-attention layer of the denoising UNet. To further enhance the content and structure of the background, we also integrate a Content-Structure Control Module. Extensive experiments demonstrate the effectiveness and scalability of our proposed method.
• Abstract（参考訳）: 食品画像の構成には、既存の食器画像と背景画像を用いて自然な新しいイメージを合成する必要があるが、拡散モデルは画像生成に大きな進歩をもたらし、将来性のある結果をもたらすエンドツーエンドアーキテクチャの構築を可能にしている。 しかし、既存の拡散モデルでは、複数の画像からの情報処理と融合が困難であり、高品質な公開データセットへのアクセスが欠如しているため、食品画像合成における拡散モデルの適用が妨げられる。 本稿では,22,000個の前景,背景,地上の真理3値からなる大規模で高品質な食品画像合成データセットFC22kを紹介する。 さらに,事前学習した拡散モデルの能力を生かした新しい食品画像合成手法であるFoodfusionを提案し,前景や背景情報を処理・統合するためのFusion Moduleを組み込んだ。 この融合した情報は、デノイングUNetのクロスアテンション層にグローバルな構造情報をマージすることにより、前景の特徴と背景構造とを整合させる。 背景のコンテンツと構造をさらに強化するため、コンテンツ構造制御モジュールも統合する。 提案手法の有効性と拡張性を示す実験を行った。

関連論文リスト

• FoodFusion: A Latent Diffusion Model for Realistic Food Image Generation [69.91401809979709]
  後期拡散モデル(LDMs)のような最先端画像生成モデルでは、視覚的に印象的な食品関連画像を生成する能力が実証されている。 本稿では,テキスト記述からリアルな食品画像の忠実な合成を目的とした,潜伏拡散モデルであるFoodFusionを紹介する。 FoodFusionモデルの開発には、大規模なオープンソースフードデータセットを活用することが含まれており、30万以上のキュレーションされたイメージキャプチャペアが生成される。
  論文  参考訳（メタデータ） (2023-12-06T15:07:12Z)
• Diffusion Model with Clustering-based Conditioning for Food Image Generation [22.154182296023404]
  深層学習に基づく手法は、食品分類、セグメンテーション、部分サイズ推定などの画像解析に一般的に用いられている。 潜在的な解決策の1つは、データ拡張に合成食品画像を使用することである。 本稿では,高品質で代表的な食品画像を生成するための効果的なクラスタリングベースのトレーニングフレームワークであるClusDiffを提案する。
  論文  参考訳（メタデータ） (2023-09-01T01:40:39Z)
• ControlCom: Controllable Image Composition using Diffusion Model [45.48263800282992]
  1つの拡散モデルにおいて4つのタスクを統一する制御可能な画像合成法を提案する。 また,拡散モデルにおける前景の詳細を強化するために,局所的な拡張モジュールを提案する。 提案手法は,公開ベンチマークと実世界のデータの両方を用いて評価する。
  論文  参考訳（メタデータ） (2023-08-19T14:56:44Z)
• Transferring Knowledge for Food Image Segmentation using Transformers and Convolutions [65.50975507723827]
  食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。 1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。 2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。 BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-06-15T15:38:10Z)
• Conditional Synthetic Food Image Generation [12.235703733345833]
  GAN(Generative Adversarial Networks)はその強力な表現学習能力に基づいて画像合成のために広く研究されている。 本研究の目的は,食品画像生成のためのGAN法の性能向上と性能向上である。
  論文  参考訳（メタデータ） (2023-03-16T00:23:20Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Compositional Visual Generation with Composable Diffusion Models [80.75258849913574]
  拡散モデルを用いた構成生成のための代替的な構造的アプローチを提案する。 画像は拡散モデルの集合を構成することで生成され、それぞれが画像の特定のコンポーネントをモデル化する。 提案手法は, トレーニングで見られるものよりもはるかに複雑なシーンを, テスト時に生成することができる。
  論文  参考訳（メタデータ） (2022-06-03T17:47:04Z)
• Cross-modal Retrieval and Synthesis (X-MRS): Closing the modality gap in shared subspace [21.33710150033949]
  本稿では,食品画像からレシピへの検索問題に対処するために,共有サブスペース学習のためのシンプルで斬新なアーキテクチャを提案する。 公開Recipe1Mデータセットの実験的解析により,提案手法を用いて学習した部分空間が,現在の最先端技術よりも優れていることが示された。 学習した部分空間の表現力を示すために,レシピの埋め込みを前提とした生成食品画像合成モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-02T17:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。