論文の概要: SPAE: Spectrally Guided Autoencoder for Pretrained Visual Latents

• arxiv url: http://arxiv.org/abs/2608.01306v1
• Date: Sun, 02 Aug 2026 15:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.155037
• Title: SPAE: Spectrally Guided Autoencoder for Pretrained Visual Latents
• Title（参考訳）: SPAE: 事前訓練された視覚潜伏者のための分光誘導型オートエンコーダ
• Abstract要約: 視覚基盤モデル(VFM)の潜伏者は意味的に豊かであり、視覚的理解に適している。 RAEのような最近の表現オートエンコーダ法は、画像生成に有望な潜在空間を提供できることを示した。 生成のための潜在適応フレームワークであるSPAEを提案する。
• 参考スコア（独自算出の注目度）: 28.122957844181272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latents from vision foundation models (VFMs) are semantically rich and well suited for visual understanding. Recent representation autoencoder methods such as RAE have shown that they can provide promising latent spaces for image generation. However, VFM latents remain difficult to model directly: DiT-generated latents exhibit spectral mismatch with encoder latents, especially in high-frequency components. Our channel-wise spectral analysis further reveals that these high-frequency components are diffusely distributed across latent channels and entangled with semantic information, making the latent space difficult for DiT to model. To address these challenges, we propose SPAE, latent adaptation framework for generation. Specifically, SPAE employs a compact bottleneck to distill stable semantic information while suppressing high-frequency components, thereby improving the alignment between DiT-generated latents and encoder latents. In addition, we apply a channel-wise masking strategy to promote the decoupling of semantic information and high-frequency details across bottleneck channels. Experiments show that SPAE achieves a favorable balance among visual understanding, generation quality, and reconstruction fidelity.
• Abstract（参考訳）: 視覚基盤モデル(VFM)の潜伏者は意味的に豊かであり、視覚的理解に適している。 RAEのような最近の表現オートエンコーダ法は、画像生成に有望な潜在空間を提供できることを示した。 しかし、VFM潜水剤を直接モデル化することは困難であり、特に高周波成分において、DiT生成潜水剤はエンコーダ潜水剤とスペクトルミスマッチを示す。 我々のチャネルワイドスペクトル分析により、これらの高周波成分は潜伏チャネルに分散し、意味情報と絡み合っていることが明らかとなり、潜伏空間のモデル化が困難になる。 これらの課題に対処するため,我々はSPAE,潜時適応フレームワークを提案する。 特に、SPAEは、高周波成分を抑えながら安定した意味情報を蒸留するために、コンパクトなボトルネックを使用し、それによって、DiT生成ラテントとエンコーダラテントとのアライメントを改善する。 さらに,ボトルネックチャネル間のセマンティック情報と高周波の詳細の疎結合を促進するために,チャネルワイズマスキング戦略を適用した。 実験の結果,SPAEは視覚的理解,生成品質,再現率のバランスが良好であることが確認された。

関連論文リスト

• BiSLW: Bi-Spectral Latent Watermarking for Generative Diffusion Models [0.0]
  BiSLWはトレーニング可能な双スペクトル遅延透かしフレームワークで、相補的なスペクトル帯域に整列した識別信号を埋め込む。 低周波成分はグローバルセマンティクスを符号化し、高周波成分は微妙なテクスチャをキャプチャする。 BiSLWは,従来の拡散透かし法と比較して,PSNRを3dB以上改善する。
  論文  参考訳（メタデータ） (2026-07-02T17:48:54Z)
• How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
  遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。 本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
  論文  参考訳（メタデータ） (2026-05-08T16:05:19Z)
• Spectral Dynamic Attention Network for Hyperspectral Image Super-Resolution [45.72534786125302]
  Spectral Dynamic Attention Network (SDANet)は、冗長なスペクトル相互作用を適応的に抑制するフレームワークである。 競争効率を維持しつつ、最先端のHISR性能を達成する。
  論文  参考訳（メタデータ） (2026-04-30T02:13:33Z)
• Improving Reconstruction of Representation Autoencoder [52.817427902597416]
  低レベル情報を欠いた意味的特徴を増強する表現オートエンコーダLV-RAEを提案する。 実験により,LV-RAEは意味的抽象化を保ちながら,再構成の忠実度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2026-02-09T13:12:35Z)
• SSG: Scaled Spatial Guidance for Multi-Scale Visual Autoregressive Generation [10.295970926059812]
  視覚自己回帰モデル(VAR)は次のスケールの予測を通じて画像を生成する。 実際には、この階層はキャパシティの制限と累積誤差によってモデルが粗いから細かい性質から逸脱してしまうため、推論時にドリフトすることができる。 本研究では,グローバルなコヒーレンスを維持しつつ,意図した階層に向けて生成を行うためのトレーニング不要な推論時間ガイダンスであるスケールド空間ガイダンス(SSG)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T10:48:58Z)
• WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
  本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。 高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。 標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2025-10-24T01:41:31Z)
• FOCUS: Fused Observation of Channels for Unveiling Spectra [13.262409939223577]
  凍結したViTに対して、信頼性と効率的な空間スペクトル解釈を可能にする最初のフレームワークであるFOCUSを提案する。 FOCUSは、バンドレベルのIoUを15%改善し、注意崩壊を40%以上削減し、専門家のアノテーションと密接に一致したサリエンシ結果を生成する。
  論文  参考訳（メタデータ） (2025-07-20T02:08:23Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。