論文の概要: How Stable is Stable Diffusion under Recursive InPainting (RIP)?

• arxiv url: http://arxiv.org/abs/2407.09549v1
• Date: Thu, 27 Jun 2024 14:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:08:55.965741
• Title: How Stable is Stable Diffusion under Recursive InPainting (RIP)?
• Title（参考訳）: Recursive InPainting (RIP) 下での安定拡散はどの程度安定か?
• Authors: Javier Conde, Miguel González, Gonzalo Martínez, Fernando Moral, Elena Merino-Gómez, Pedro Reviriego,
• Abstract要約: 画像を取り、断片を取り除き、塗り絵を復元し、結果を元の画像と比較することにより、塗り絵の性能を測定することができる。 本稿では,最も広く用いられている画像モデルである安定拡散モデルについて,再帰的塗布の影響について検討する。
• 参考スコア（独自算出の注目度）: 40.65612212208553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Artificial Intelligence image models have achieved outstanding performance in text-to-image generation and other tasks, such as inpainting that completes images with missing fragments. The performance of inpainting can be accurately measured by taking an image, removing some fragments, performing the inpainting to restore them, and comparing the results with the original image. Interestingly, inpainting can also be applied recursively, starting from an image, removing some parts, applying inpainting to reconstruct the image, and then starting the inpainting process again on the reconstructed image, and so forth. This process of recursively applying inpainting can lead to an image that is similar or completely different from the original one, depending on the fragments that are removed and the ability of the model to reconstruct them. Intuitively, stability, understood as the capability to recover an image that is similar to the original one even after many recursive inpainting operations, is a desirable feature and can be used as an additional performance metric for inpainting. The concept of stability is also being studied in the context of recursive training of generative AI models with their own data. Recursive inpainting is an inference-only recursive process whose understanding may complement ongoing efforts to study the behavior of generative AI models under training recursion. In this paper, the impact of recursive inpainting is studied for one of the most widely used image models: Stable Diffusion. The results show that recursive inpainting can lead to image collapse, so ending with a nonmeaningful image, and that the outcome depends on several factors such as the type of image, the size of the inpainting masks, and the number of iterations.
• Abstract（参考訳）: 生成人工知能画像モデルは、テキスト・ツー・イメージ生成や、欠落したフラグメントで画像を完成させるインペインティングなどのタスクにおいて、優れたパフォーマンスを実現している。 画像を取り、いくつかの断片を取り除き、塗装を施して復元し、結果を元の画像と比較することにより、正確に塗布性能を測定することができる。 興味深いことに、インペイントは、画像から始めて再帰的に適用でき、一部を取り除き、画像の再構成にインペイントを適用し、再構成された画像に再びインペイント処理を開始する等することができる。 この再帰的に塗布を施すプロセスは、取り除かれた断片やモデルを再構築する能力によって、原画と似ているか、全く異なるイメージにつながる可能性がある。 直感的には、多くの再帰的インペイント操作をしても元のイメージと類似したイメージを復元する能力として理解されている安定性は望ましい特徴であり、インペイントのための追加のパフォーマンス指標として使用できる。 安定性の概念は、生成AIモデルを自身のデータで再帰的に訓練する文脈でも研究されている。 再帰的インペインティング(Recursive inpainting)は、推論のみの再帰的プロセスであり、トレーニング再帰の下で生成AIモデルの振る舞いを研究するための継続的な努力を補完する可能性がある。 本稿では,最も広く用いられている画像モデルである安定拡散モデルについて,再帰的塗布の影響について検討する。 その結果, 再帰的インペイントは画像の崩壊を招き, 非意味な画像に終止符を打つことができ, その結果は, 画像の種類, インペイントマスクのサイズ, イテレーション数など, いくつかの要因に依存することがわかった。

関連論文リスト

• Fill in the ____ (a Diffusion-based Image Inpainting Pipeline) [0.0]
  塗り絵は、画像を撮り、失った、または故意に隠された部分を生成する過程である。 現代の塗装技術は、有能な完成物を生成する際、顕著な能力を示している。 既存のモデルにおける重要なギャップに対処し、何が正確に生成されたかをプロンプトし制御する能力に焦点を当てる。
  論文  参考訳（メタデータ） (2024-03-24T05:26:55Z)
• Inst-Inpaint: Instructing to Remove Objects with Diffusion Models [18.30057229657246]
  本研究では,自然言語入力に基づいて除去対象を推定し,同時に除去する画像インペイントアルゴリズムに興味を持つ。 本稿では,テキストプロンプトとして与えられた命令に基づいて画像からオブジェクトを除去する新しいインペイントフレームワークInst-Inpaintを提案する。
  論文  参考訳（メタデータ） (2023-04-06T17:29:50Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• Perceptual Artifacts Localization for Inpainting [60.5659086595901]
  そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。 データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。 また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2022-08-05T18:50:51Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)
• Restore from Restored: Single-image Inpainting [9.699531255678856]
  本論文では,絵画ネットワークにおける自己監督型微調整アルゴリズムについて述べる。 入力画像内の既存の自己相似パッチを利用して,事前学習したネットワークのパラメータをアップグレードする。 公開ベンチマークデータセットで最先端のインペインティング結果を達成します。
  論文  参考訳（メタデータ） (2021-02-16T10:59:28Z)
• High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling [122.06593036862611]
  既存の画像塗装法は、実アプリケーションで大きな穴を扱う際に、しばしばアーティファクトを生成する。 本稿では,フィードバック機構を備えた反復インペイント手法を提案する。 実験により,本手法は定量評価と定性評価の両方において既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-05-24T13:23:45Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。