論文の概要: MOSAIK: Multi-Patch Content-Aware Spatial Allocation of Image Tokens for Efficient Generation

• arxiv url: http://arxiv.org/abs/2608.05450v1
• Date: Wed, 05 Aug 2026 22:52:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.80583
• Title: MOSAIK: Multi-Patch Content-Aware Spatial Allocation of Image Tokens for Efficient Generation
• Title（参考訳）: MOSAIK:効率的な生成のための画像トークンの空間配置を考慮したマルチパッチコンテンツ
• Abstract要約: MOSAIKは損傷を誘導するフレームワークで、パッチサイズが地域によって異なる。 私たちのアプローチは、適度な予算で非常に競争力のあるパフォーマンスを提供します。
• 参考スコア（独自算出の注目度）: 26.941280093248263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pixel-space diffusion models avoid the reconstruction ceiling of latent diffusion models by generating directly in image space. However, their substantially higher token count makes generation expensive due to the quadratic complexity of self-attention. Several existing efficiency methods reduce this cost by using larger patches at selected denoising steps, thereby representing the image with fewer tokens. Yet, each step still uses a single patch size uniformly across the entire image, overlooking that different regions suffer different fidelity losses when coarsened. We introduce MOSAIK, a damage-guided framework that varies patch size across regions and denoising steps. MOSAIK adapts the PixelDiT backbone to generate arbitrary heterogeneous patch layouts, and a lightweight predictor uses intermediate denoising features to estimate the fidelity loss caused by coarsening each region. Given a token budget, our damage-guided layout predictor assigns fine patches to sensitive regions and coarse patches elsewhere. Remarkably, while reducing FLOPs by 70% and token count by 83%, MOSAIK matches the full-compute PixelDiT on GenEval and its DPG-Bench score drops by only 1.0 point. Compared to diverse efficiency paradigms, including temporal patch scheduling and feature caching, our approach delivers highly competitive performance at moderate budgets and consistently outperforms these baselines in highly constrained compute regimes.
• Abstract（参考訳）: 画素空間拡散モデルは、画像空間内で直接生成することにより、潜時拡散モデルの再構成天井を避ける。 しかし、トークン数が非常に高いため、自己注意の二次的な複雑さのため、生成は高価である。 いくつかの既存の効率性手法は、選択されたデノナイジングステップでより大きなパッチを使用することで、このコストを削減し、より少ないトークンで画像を表現する。 しかし、各ステップは画像全体にわたって一様にパッチのサイズを使い、各領域が粗いときに異なる忠実さの損失を被っているのを見落としている。 MOSAIKは、地域によってパッチサイズが変わる損傷誘導型フレームワークである。 MOSAIKはPixelDiTのバックボーンに任意の均一なパッチレイアウトを生成するように適応し、軽量予測器は中間的なデノナイジング機能を使用して各領域の粗大化に起因する忠実度損失を推定する。 トークンの予算が与えられた場合、損傷誘導型レイアウト予測器は、機密性の高い領域に細かなパッチを割り当て、他の領域に粗いパッチを割り当てます。 注目すべきは、FLOPを70%減らし、トークン数を83%減らしながら、MOSAIKはGenEvalのフルコンプリートPixelDiTと一致し、DPG-Benchスコアは1.0ポイント減ったことだ。 時間的パッチスケジューリングや特徴キャッシングといった多種多様な効率パラダイムと比較して、我々のアプローチは適度な予算で高い競争性能を提供し、高度に制約された計算システムにおいてこれらのベースラインを一貫して上回ります。

関連論文リスト

• P-PatchDiff: Progressive Patch Diffusion Models for Low-light Image Enhancement [16.721528049675424]
  低照度画像強調のためのスケーラブルなプログレッシブパッチ拡散フレームワークであるP-PatchDiffを提案する。 局所的なビューからグローバルビューへの段階的なシフトを可能にするため、デノナイジングプロセスを通じてパッチサイズを動的に調整する。 P-PatchDiffが400ドルから600ドルから4Kの画像を効果的に拡張できることを実証的に実証した。
  論文  参考訳（メタデータ） (2026-09-01T12:01:17Z)
• DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation [10.719563134726057]
  本稿では,デコーダのみの自己回帰モデルであるDPARについて述べる。 DPAR は Imagenet 256 と 384 でそれぞれトークン数を 1.81x と 2.06x に削減し、トレーニングコストの最大40% FLOP を削減した。
  論文  参考訳（メタデータ） (2025-12-26T05:03:47Z)
• DiP: Taming Diffusion Models in Pixel Space [91.51011771517683]
  Diffusion Transformer (DiT) バックボーンは、効率的なグローバル構造構築のために大きなパッチで動作する。 共同トレーニングされた軽量パッチディーラーヘッドは、コンテキスト機能を活用して、きめ細かいローカル詳細を復元する。
  論文  参考訳（メタデータ） (2025-11-24T06:55:49Z)
• Frequency-Aware Autoregressive Modeling for Efficient High-Resolution Image Synthesis [40.93077975823353]
  視覚的自己回帰モデリングは、次のスケールの予測パラダイムに基づいており、画像の品質とモデルのスケーラビリティにおいて顕著な優位性を示している。 しかし、高解像度の段階での計算オーバーヘッドは、相当数のトークンが関与しているため、依然として重要な課題である。 Sparsevarは、次世代の予測のためのプラグイン・アンド・プレイ・アクセラレーション・フレームワークで、追加のトレーニングを必要とせず、推論中に低周波トークンを動的に排除する。
  論文  参考訳（メタデータ） (2025-07-28T01:13:24Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• DiffPAD: Denoising Diffusion-based Adversarial Patch Decontamination [5.7254228484416325]
  DiffPADは、拡散モデルのパワーを利用した新しいフレームワークである。 我々は,DiffPADがパッチ攻撃に対する最先端の敵対的堅牢性を達成し,パッチ残余を伴わない自然像の回復に優れることを示す。
  論文  参考訳（メタデータ） (2024-10-31T15:09:36Z)
• Improving Accuracy-robustness Trade-off via Pixel Reweighted Adversarial Training [61.61368146268329]
  また,Pixel-reweighted AdveRsarial Training (PART)を提案する。 CIFAR-10、SVHN、TinyImagenet-200の堅牢性を損なうことなく、精度の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-06-02T09:43:34Z)
• PatchScaler: An Efficient Patch-Independent Diffusion Model for Image Super-Resolution [44.345740602726345]
  PatchScalerは、単一画像超解像のための効率的なパッチ非依存拡散パイプラインである。 テクスチャは、共通参照テクスチャメモリから、ターゲットパッチのテクスチャ先行を適応的に検索する。 本コードでは,定量評価と定性評価の両方において優れた性能を示し,推論を著しく高速化する。
  論文  参考訳（メタデータ） (2024-05-27T13:31:46Z)
• Learning to Rank Patches for Unbiased Image Redundancy Reduction [80.93989115541966]
  画像は、隣接する領域の画素が空間的に相関しているため、空間的冗長性に悩まされる。 既存のアプローチでは、意味の少ない画像領域を減らし、この制限を克服しようとしている。 本稿では,Learning to Rank Patchesと呼ばれる画像冗長性低減のための自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T13:12:41Z)
• SA-MixNet: Structure-aware Mixup and Invariance Learning for Scribble-supervised Road Extraction in Remote Sensing Images [85.52629779976137]
  複雑化の進んだ画像シーンを作成するために,ある画像から別の画像へ道路領域を貼り付ける構造を意識したミックスアップ方式を提案する。 道路構造を保ちながら接続性を高めるために,識別器に基づく正規化が設計されている。 われわれのフレームワークは、DeepGlobe、Wuhan、およびマサチューセッツのデータセット上で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-03T02:56:43Z)
• Cross-domain Self-supervised Framework for Photoacoustic Computed Tomography Image Reconstruction [4.769412124596113]
  純粋なトランスモデルを用いたクロスドメイン非教師付き再構築(CDUR)戦略を提案する。 モデルに基づく自己監督型再構成を実装し、自己監督を利用して計測と画像の整合性を強制する。 マウスのin-vivo PACTデータセットの実験結果は、我々の教師なしフレームワークの可能性を示している。
  論文  参考訳（メタデータ） (2023-01-17T03:47:01Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。