論文の概要: ZoomLDM: Latent Diffusion Model for multi-scale image generation

• arxiv url: http://arxiv.org/abs/2411.16969v2
• Date: Mon, 24 Mar 2025 23:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 21:56:47.119596
• Title: ZoomLDM: Latent Diffusion Model for multi-scale image generation
• Title（参考訳）: ZoomLDM:マルチスケール画像生成のための潜時拡散モデル
• Authors: Srikar Yellapragada, Alexandros Graikos, Kostas Triaridis, Prateek Prasanna, Rajarsi R. Gupta, Joel Saltz, Dimitris Samaras,
• Abstract要約: 複数のスケールで画像を生成するための拡散モデルZoomLDMを提案する。 我々のアプローチの中心は、自己教師あり学習(SSL)埋め込みを利用した、新たな拡大対応条件付け機構である。 ZoomLDMは、コンテキスト的に正確であり、異なるズームレベルで詳細なコヒーレントな病理像を合成する。
• 参考スコア（独自算出の注目度）: 57.639937071834986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have revolutionized image generation, yet several challenges restrict their application to large-image domains, such as digital pathology and satellite imagery. Given that it is infeasible to directly train a model on 'whole' images from domains with potential gigapixel sizes, diffusion-based generative methods have focused on synthesizing small, fixed-size patches extracted from these images. However, generating small patches has limited applicability since patch-based models fail to capture the global structures and wider context of large images, which can be crucial for synthesizing (semantically) accurate samples. To overcome this limitation, we present ZoomLDM, a diffusion model tailored for generating images across multiple scales. Central to our approach is a novel magnification-aware conditioning mechanism that utilizes self-supervised learning (SSL) embeddings and allows the diffusion model to synthesize images at different 'zoom' levels, i.e., fixed-size patches extracted from large images at varying scales. ZoomLDM synthesizes coherent histopathology images that remain contextually accurate and detailed at different zoom levels, achieving state-of-the-art image generation quality across all scales and excelling in the data-scarce setting of generating thumbnails of entire large images. The multi-scale nature of ZoomLDM unlocks additional capabilities in large image generation, enabling computationally tractable and globally coherent image synthesis up to $4096 \times 4096$ pixels and $4\times$ super-resolution. Additionally, multi-scale features extracted from ZoomLDM are highly effective in multiple instance learning experiments.
• Abstract（参考訳）: 拡散モデルは画像生成に革命をもたらしたが、デジタル病理学や衛星画像などの大画像領域への適用を制限するいくつかの課題がある。 潜在的ギガピクセルサイズを持つ領域から「全体」画像のモデルを直接訓練することは不可能であるため、拡散型生成法はこれらの画像から抽出した小さい、固定サイズのパッチを合成することに重点を置いている。 しかし、パッチベースのモデルではグローバルな構造や大きな画像のより広いコンテキストをキャプチャできないため、小さなパッチの生成は適用性に制限がある。 この制限を克服するために,複数のスケールにまたがる画像生成に適した拡散モデルZoomLDMを提案する。 提案手法の中心となるのは,自己教師付き学習(SSL)埋め込みを利用した新たな拡張型条件付け機構であり,拡散モデルにより様々な「動物」レベルの画像,すなわち大規模画像から抽出した固定サイズパッチを様々なスケールで合成することができる。 ZoomLDMは、コンテキスト的に正確で異なるズームレベルで詳細なコヒーレントな病理像を合成し、あらゆるスケールで最先端の画像生成品質を達成し、大きな画像全体のサムネイルを生成するデータスカース設定に優れる。 ZoomLDMのマルチスケールな性質は、大規模画像生成のさらなる能力を解き、計算可能でグローバルなコヒーレントな画像合成を可能にする。 さらに、ZoomLDMから抽出したマルチスケール機能は、複数のインスタンス学習実験において非常に効果的である。

関連論文リスト

• MLEP: Multi-granularity Local Entropy Patterns for Universal AI-generated Image Detection [44.40575446607237]
  AI生成画像(AIGI)を効果的に検出する手法が緊急に必要である。 マルチグラニュラリティ局所エントロピーパターン (MLEP) を提案する。 MLEPは、画像のセマンティクスを著しく破壊し、潜在的なコンテンツバイアスを低減しながら、次元とスケールの画素関係を包括的にキャプチャする。
  論文  参考訳（メタデータ） (2025-04-18T14:50:23Z)
• Multi-focal Conditioned Latent Diffusion for Person Image Synthesis [59.113899155476005]
  遅延拡散モデル(LDM)は高解像度画像生成において強力な機能を示した。 これらの制約に対処する多焦点条件付き潜時拡散法(MCLD)を提案する。 本手法では,顔の同一性やテクスチャ固有の情報を効果的に統合する多焦点条件アグリゲーションモジュールを利用する。
  論文  参考訳（メタデータ） (2025-03-19T20:50:10Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Boosting Few-Shot Detection with Large Language Models and Layout-to-Image Synthesis [1.1633929083694388]
  本稿では,最先端な生成的拡張アプローチを超越した,少数ショット検出のためのフレームワークを提案する。 我々は,新しいレイアウト対応CLIPスコアをサンプルランキングに導入し,生成したレイアウトと画像の密結合を可能にする。 アプローチでは,COCO5-,10-,30ショット設定でYOLOX-Sベースラインを140%以上,50%,35%のmAPで強化する。
  論文  参考訳（メタデータ） (2024-10-09T12:57:45Z)
• $\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions [58.42011190989414]
  無限次元における新しい条件拡散モデル、制御可能な大画像合成のための$infty$-Brushを導入する。 我々の知る限り、$infty$-Brushは関数空間における最初の条件拡散モデルであり、最大4096times4096$ピクセルの任意の解像度で画像を制御できる。
  論文  参考訳（メタデータ） (2024-07-20T00:04:49Z)
• MSDiff: Multi-Scale Diffusion Model for Ultra-Sparse View CT Reconstruction [5.5805994093893885]
  マルチスケールディフ融合モデル(MSDiff)を用いた超スパースCT再構成法を提案する。 提案モデルは,包括的サンプリングと選択的スパースサンプリング技術の両方からの情報を統合する。 プロジェクションデータ内の固有相関を利用して、同値マスクを設計し、モデルがより効果的に注意を集中できるようにする。
  論文  参考訳（メタデータ） (2024-05-09T14:52:32Z)
• Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder [29.924160271522354]
  超解像度(SR)と画像生成はコンピュータビジョンにおいて重要なタスクであり、現実世界のアプリケーションで広く採用されている。 しかし、既存のほとんどの手法は、固定スケールの倍率でのみ画像を生成し、過度なスムーシングやアーティファクトに悩まされている。 最も関連する研究は、インプリシット神経表現(INR)をデノナイズ拡散モデルに適用し、連続分解能で多種多様で高品質なSR結果を得た。 任意のスケールで入力画像の超解像やランダムノイズから生成できる新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-15T12:45:40Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Local Statistics for Generative Image Detection [1.565361244756411]
  拡散モデル (DM) はガウスノイズから画像の合成を学ぶ生成モデルである。 本稿では,デジタルカメラ画像とDM生成画像とを区別するバイエルパターンと局所統計値の有効性を強調した。
  論文  参考訳（メタデータ） (2023-10-25T14:47:32Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• High-Resolution Image Synthesis with Latent Diffusion Models [14.786952412297808]
  オートエンコーダ上での拡散モデルの訓練は、複雑性の低減と詳細保存の間のほぼ最適点に初めて到達することができる。 我々の潜伏拡散モデル(LDMs)は,様々なタスクにおける画像インペイントと高い競争性能の新たな技術を実現する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:25Z)
• Locally Masked Convolution for Autoregressive Models [107.4635841204146]
  LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。 我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-22T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。