論文の概要: Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2402.17245v1
• Date: Tue, 27 Feb 2024 06:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 17:33:37.570097
• Title: Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation
• Title（参考訳）: Playground v2.5: テキスト・画像生成における美的品質向上に向けた3つの視点
• Authors: Daiqing Li, Aleks Kamko, Ehsan Akhgari, Ali Sabet, Linmiao Xu, Suhail Doshi
• Abstract要約: 色とコントラストの強化、複数アスペクト比での生成の改善、人中心の細部の改善に重点を置いている。 われわれのモデルはオープンソースであり、Playground v2.5の開発は、拡散型画像生成モデルの美的品質を高めることを目的とした研究者に貴重なガイドラインを提供することを期待している。
• 参考スコア（独自算出の注目度）: 3.976813869450304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we share three insights for achieving state-of-the-art aesthetic quality in text-to-image generative models. We focus on three critical aspects for model improvement: enhancing color and contrast, improving generation across multiple aspect ratios, and improving human-centric fine details. First, we delve into the significance of the noise schedule in training a diffusion model, demonstrating its profound impact on realism and visual fidelity. Second, we address the challenge of accommodating various aspect ratios in image generation, emphasizing the importance of preparing a balanced bucketed dataset. Lastly, we investigate the crucial role of aligning model outputs with human preferences, ensuring that generated images resonate with human perceptual expectations. Through extensive analysis and experiments, Playground v2.5 demonstrates state-of-the-art performance in terms of aesthetic quality under various conditions and aspect ratios, outperforming both widely-used open-source models like SDXL and Playground v2, and closed-source commercial systems such as DALLE 3 and Midjourney v5.2. Our model is open-source, and we hope the development of Playground v2.5 provides valuable guidelines for researchers aiming to elevate the aesthetic quality of diffusion-based image generation models.
• Abstract（参考訳）: 本稿では,テキストから画像への生成モデルにおいて,最先端の美的品質を実現するための3つの知見について述べる。 色とコントラストの強化、複数のアスペクト比における生成の改善、人間中心の細部の改善の3つの重要な側面に焦点を当てた。 まず,拡散モデルの学習におけるノイズスケジュールの重要性を掘り下げ,現実性と視覚的忠実性に大きな影響を与えることを示す。 第2に、バランスの取れたデータセットを作成することの重要性を強調し、画像生成における様々なアスペクト比を調節することの課題に対処する。 最後に、モデル出力と人間の嗜好を一致させる重要な役割について検討し、生成した画像が人間の知覚的期待に共鳴することを保証する。 幅広い分析と実験を通じて、Playground v2.5は様々な条件とアスペクト比の美的品質の観点から最先端のパフォーマンスを示し、SDXLやPlayground v2のような広く使われているオープンソースモデルと、DALLE 3やMidjourney v5.2のようなクローズドソースの商用システムの両方を上回っている。 われわれのモデルはオープンソースであり、Playground v2.5の開発は、拡散型画像生成モデルの美的品質を高めることを目的とした研究者に貴重なガイドラインを提供することを期待している。

関連論文リスト

• Illustrious: an Open Advanced Illustration Model [7.428509329724737]
  我々は,高解像度,ダイナミックカラーレンジ画像,高復元性を実現するために,Illustriousと呼ばれるテキスト・ツー・イメージ画像生成モデルを開発した。 まず、バッチサイズとドロップアウト制御の重要性を探求し、制御可能なトークンベースの概念アクティベーションの学習を高速化する。 第2に、画像のトレーニング精度を高め、文字解剖の正確な描写をはるかに高解像度にし、適切な方法で20MP以上の生成能力を拡張した。
  論文  参考訳（メタデータ） (2024-09-30T04:59:12Z)
• FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process [120.91393949012014]
  FreeEnhanceは、既製の画像拡散モデルを用いたコンテンツ一貫性のある画像強調のためのフレームワークである。 ノイズ発生段階では、FreeEnhanceは、元の画像の高頻度パターンを保存するために、より周波数の高い領域により軽いノイズを加えるように考案されている。 この段階では3つの目標特性を予測された雑音の規則化の制約として提示し,高精度で視覚的品質の高い画像の強調を行う。
  論文  参考訳（メタデータ） (2024-09-11T17:58:50Z)
• Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
  VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。 我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
  論文  参考訳（メタデータ） (2024-04-23T14:53:15Z)
• YaART: Yet Another ART Rendering Technology [119.09155882164573]
  そこで本研究では,ヒトの嗜好に適合する新しい生産段階のテキスト・ツー・イメージ拡散モデルYaARTを紹介した。 これらの選択がトレーニングプロセスの効率と生成された画像の品質にどのように影響するかを分析する。 高品質な画像の小さなデータセットでトレーニングされたモデルが、より大きなデータセットでトレーニングされたモデルとうまく競合できることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T16:51:19Z)
• Large-scale Reinforcement Learning for Diffusion Models [30.164571425479824]
  テキストと画像の拡散モデルは、Webスケールのテキストと画像のトレーニングペアから生じる暗黙のバイアスに影響を受けやすい。 強化学習(Reinforcement Learning, RL)を用いて, 拡散モデルの改善に有効なスケーラブルアルゴリズムを提案する。 提案手法は,従来の拡散モデルと人間の嗜好を整合させる手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-20T08:10:43Z)
• Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
  我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。 我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。 提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
  論文  参考訳（メタデータ） (2024-01-09T18:59:04Z)
• Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion [50.59261592343479]
  本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。 提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。 また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
  論文  参考訳（メタデータ） (2023-10-05T12:29:41Z)
• Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
  拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。 近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。 予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。 我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
  論文  参考訳（メタデータ） (2023-09-15T16:34:51Z)
• StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation [103.88928334431786]
  高品質な3Dアバターを製作するための新しい手法を提案する。 データ生成には事前学習した画像テキスト拡散モデルとGANベースの3次元生成ネットワークを用いて訓練を行う。 提案手法は、生産されたアバターの視覚的品質と多様性の観点から、現在の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-30T13:09:21Z)
• Quality-agnostic Image Captioning to Safely Assist People with Vision Impairment [11.864465182761945]
  本稿では、合成雑音を生成するためのデータ拡張手法が、この領域におけるデータの空間性にどのように対処できるかを示す。 第二に、最先端のモデルをデュアルネットワークアーキテクチャに拡張することにより、モデルの堅牢性を高める。 第3に,困難/雑音レベルの異なる画像に対して,信頼度校正による予測信頼性の評価を行った。
  論文  参考訳（メタデータ） (2023-04-28T04:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。