論文の概要: Multi-view Image Diffusion via Coordinate Noise and Fourier Attention

• arxiv url: http://arxiv.org/abs/2412.03756v1
• Date: Wed, 04 Dec 2024 22:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:26.523064
• Title: Multi-view Image Diffusion via Coordinate Noise and Fourier Attention
• Title（参考訳）: コーディネートノイズとフーリエ注意による多視点画像拡散
• Authors: Justin Theiss, Norman Müller, Daeil Kim, Aayush Prakash,
• Abstract要約: 本稿では,新しい注意機構と横断的注意損失を有する特徴の時間依存性空間周波数に対応する拡散過程を提案する。 本手法は,多視点整合性に対する他の最先端手法と比較して,定性的に優れた結果が得られる数種類の定量的指標を用いてSOTAを改良する。
• 参考スコア（独自算出の注目度）: 5.251293630298169
• License:
• Abstract: Recently, text-to-image generation with diffusion models has made significant advancements in both higher fidelity and generalization capabilities compared to previous baselines. However, generating holistic multi-view consistent images from prompts still remains an important and challenging task. To address this challenge, we propose a diffusion process that attends to time-dependent spatial frequencies of features with a novel attention mechanism as well as novel noise initialization technique and cross-attention loss. This Fourier-based attention block focuses on features from non-overlapping regions of the generated scene in order to better align the global appearance. Our noise initialization technique incorporates shared noise and low spatial frequency information derived from pixel coordinates and depth maps to induce noise correlations across views. The cross-attention loss further aligns features sharing the same prompt across the scene. Our technique improves SOTA on several quantitative metrics with qualitatively better results when compared to other state-of-the-art approaches for multi-view consistency.
• Abstract（参考訳）: 近年,拡散モデルによるテキスト・ツー・イメージ生成は,従来のベースラインに比べて高忠実度と一般化の両面で大きな進歩を遂げている。 しかし、プロンプトから総合的な多視点一貫した画像を生成することは、依然として重要かつ困難な課題である。 この課題に対処するために,新しいアテンション機構を持つ特徴の時間依存性空間周波数に対応する拡散過程と,新しいノイズ初期化手法とクロスアテンション損失を提案する。 このFourierベースのアテンションブロックは、グローバルな外観をより良く整合させるために、生成されたシーンの重複しない領域の特徴に焦点を当てている。 我々のノイズ初期化技術は、画素座標と深度マップから得られた共有ノイズと低空間周波数情報を組み合わせて、ビュー間のノイズ相関を誘導する。 クロスアテンションロスはさらに、シーン全体で同じプロンプトを共有する機能を整列させる。 提案手法は,多視点整合性に対する他の最先端手法と比較して,定性的に優れた結果が得られる数種類の定量的指標を用いてSOTAを改良する。

関連論文リスト

• CoCoNO: Attention Contrast-and-Complete for Initial Noise Optimization in Text-to-Image Synthesis [8.386261591495103]
  自己注意マップと相互注意マップの相補的な情報を活用することで、初期潜伏者を最適化する新しいアルゴリズムであるCoCoNOを導入する。 本手法では,各自己注意区間が特定の被験者のクロスアテンションマップにのみリンクされていることを保証することで,所望のオーバーラップを最小化するアテンションコントラストロスと,これらのセグメント内でのアクティベーションを最大化し,各被写体が完全に明確に表現されることを保証するアテンション完全ロスという2つの新たなロス関数を導入する。
  論文  参考訳（メタデータ） (2024-11-25T08:20:14Z)
• Meta-Exploiting Frequency Prior for Cross-Domain Few-Shot Learning [86.99944014645322]
  クロスドメインなFew-Shot学習のための新しいフレームワーク,Meta-Exploiting Frequency Priorを導入する。 各クエリ画像を高周波および低周波成分に分解し,特徴埋め込みネットワークに並列に組み込む。 本フレームワークは、複数のドメイン間数ショット学習ベンチマークにおいて、最先端の新たな結果を確立する。
  論文  参考訳（メタデータ） (2024-11-03T04:02:35Z)
• Robust Network Learning via Inverse Scale Variational Sparsification [55.64935887249435]
  時間連続な逆スケール空間の定式化において、逆スケールの変動スペーサー化フレームワークを導入する。 周波数ベースの手法とは異なり、我々の手法は小さな特徴を滑らかにすることでノイズを除去するだけでなく、ノイズを除去する。 各種騒音に対する頑健性の向上によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-27T03:17:35Z)
• Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
  ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。 ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。 主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
  論文  参考訳（メタデータ） (2024-03-15T07:18:43Z)
• Holistic Dynamic Frequency Transformer for Image Fusion and Exposure Correction [18.014481087171657]
  露出関連問題の修正は、画像の品質向上における重要な要素である。 本稿では、周波数領域を利用して露出補正タスクの処理を改善し、統一する新しい手法を提案する。 提案手法は, 露光補正においてより高度で統一された解を実現する方法である。
  論文  参考訳（メタデータ） (2023-09-03T14:09:14Z)
• Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement [75.25451566988565]
  低画質の原画像のバーストから空間的精度の高い高画質画像を再構成する新しいGated Multi-Resolution Transfer Network (GMTNet)を提案する。 5つのデータセットに関する詳細な実験分析は、我々のアプローチを検証し、バースト超解像、バーストデノイング、低照度バーストエンハンスメントのための最先端技術を設定する。
  論文  参考訳（メタデータ） (2023-04-13T17:54:00Z)
• Towards Robust Image-in-Audio Deep Steganography [14.1081872409308]
  本稿では,その堅牢性向上に焦点をあて,既存の音響深部ステガノグラフィー手法を拡張し,拡張する。 提案した機能拡張には、損失関数の修正、短い時間フーリエ変換(STFT)の利用、誤り訂正のための符号化プロセスにおける冗長性の導入、ピクセルサブ畳み込み操作における追加情報のバッファリングが含まれる。
  論文  参考訳（メタデータ） (2023-03-09T03:16:04Z)
• Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering [7.522462414919854]
  ニューラルポイントクラウドレンダリングパイプラインを、新しいマルチ周波数対応パッチ対向学習フレームワークを通じて提示する。 提案手法は,実画像と合成画像のスペクトル差を最小化することにより,レンダリングの精度を向上させることを目的としている。 提案手法は,ニューラルポイントクラウドレンダリングにおける最先端の結果を有意差で生成する。
  論文  参考訳（メタデータ） (2022-10-07T16:54:15Z)
• Amplitude-Phase Recombination: Rethinking Robustness of Convolutional Neural Networks in Frequency Domain [31.182376196295365]
  CNNは、トレーニング画像の高周波成分と密接に関連する局所最適値に収束する傾向にある。 現在の画像の位相スペクトルとイントラクタ画像の振幅スペクトルを再結合して設計されたデータ拡張に関する新しい視点。
  論文  参考訳（メタデータ） (2021-08-19T04:04:41Z)
• Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain [88.7339322596758]
  本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。 SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
  論文  参考訳（メタデータ） (2021-03-02T16:45:08Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。