論文の概要: Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representational Alignment
- arxiv url: http://arxiv.org/abs/2511.16870v1
- Date: Fri, 21 Nov 2025 00:37:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-24 18:08:18.850323
- Title: Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representational Alignment
- Title(参考訳): Align & Invert:Representational Alignmentによる拡散モデルとフローベースモデルによる逆問題の解法
- Authors: Loukas Sfountouris, Giannis Daras, Paris Giampouras,
- Abstract要約: 逆問題では、事前訓練された生成モデルが先行として使用される。
本稿では,拡散モデルとフローベースモデル間の表現アライメント(REPA)を適用することを提案する。
モデル表現と近似的対象特徴との整合性は、再構成の忠実度と知覚的リアリズムを大幅に向上させることができることを示す。
- 参考スコア(独自算出の注目度): 13.028121107802127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enforcing alignment between the internal representations of diffusion or flow-based generative models and those of pretrained self-supervised encoders has recently been shown to provide a powerful inductive bias, improving both convergence and sample quality. In this work, we extend this idea to inverse problems, where pretrained generative models are employed as priors. We propose applying representation alignment (REPA) between diffusion or flow-based models and a pretrained self-supervised visual encoder, such as DINOv2, to guide the reconstruction process at inference time. Although ground-truth signals are unavailable in inverse problems, we show that aligning model representations with approximate target features can substantially enhance reconstruction fidelity and perceptual realism. We provide theoretical results showing (a) the relation between the REPA regularization and a divergence measure in the DINOv2 embedding space, and (b) how REPA updates steer the model's internal representations toward those of the clean image. These results offer insights into the role of REPA in improving perceptual fidelity. Finally, we demonstrate the generality of our approach by integrating it into multiple state-of-the-art inverse problem solvers. Extensive experiments on super-resolution, box inpainting, Gaussian deblurring, and motion deblurring confirm that our method consistently improves reconstruction quality across tasks, while also providing substantial efficiency gains by reducing the number of required discretization steps without compromising the performance of the underlying solver.
- Abstract(参考訳): 拡散モデルやフローベース生成モデルの内部表現と事前訓練された自己教師付きエンコーダとのアライメントを強制することは、収束とサンプル品質の両方を改善する強力な帰納バイアスをもたらすことが最近示されている。
本研究では、事前学習された生成モデルが先行する逆問題に拡張する。
本稿では,拡散モデルやフローベースモデル,DINOv2などの自己教師付き視覚エンコーダ間の表現アライメント(REPA)を適用して,推定時の再構成プロセスを導くことを提案する。
逆問題では接地トラス信号は利用できないが, モデル表現と近似的特徴との整合性は, 再構成の忠実性や知覚的リアリズムを著しく向上させることができることを示す。
理論的結果を示します
a) DINOv2埋め込み空間におけるREPA正則化と発散測度との関係
b) クリーンなイメージに対してモデルの内部表現をステアリングする方法。
これらの結果は、知覚の忠実性を改善する上でのREPAの役割に関する洞察を与える。
最後に,複数の最先端逆問題解法に組み込むことにより,本手法の汎用性を実証する。
超解像, ボックス塗布, ガウスデブロアリング, モーションデブロアリングの広範囲な実験により, 提案手法はタスク間の再構成品質を継続的に向上すると共に, 基礎となる解法の性能を損なうことなく, 必要な離散化ステップの数を減らし, 大幅な効率向上を図った。
関連論文リスト
- DAPS++: Rethinking Diffusion Inverse Problems with Decoupled Posterior Annealing [5.215481191227242]
textbfDAPS++を導入することで,数値安定性を維持しつつ,推論をより直接的にガイドすることができる。
textbfDAPS++は、様々な画像復元タスク間で高い計算効率と堅牢な再構成性能を実現する。
論文 参考訳(メタデータ) (2025-11-21T08:28:36Z) - Cross-Subject Mind Decoding from Inaccurate Representations [42.19569985029642]
正確なデコード表現予測のためのBi Autoencoder Intertwiningフレームワークを提案する。
本手法は,定性評価と定量的評価の両方において,ベンチマークデータセットの最先端手法よりも優れている。
論文 参考訳(メタデータ) (2025-07-25T08:45:02Z) - Efficient Diffusion as Low Light Enhancer [63.789138528062225]
RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。
textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
論文 参考訳(メタデータ) (2024-10-16T08:07:18Z) - Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。
本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。
既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
論文 参考訳(メタデータ) (2024-07-25T09:53:12Z) - Convex Latent-Optimized Adversarial Regularizers for Imaging Inverse
Problems [8.33626757808923]
本稿では,新しいデータ駆動型パラダイムであるConvex Latent-d Adrial Regularizers (CLEAR)を紹介する。
CLEARは、ディープラーニング(DL)と変分正規化の融合を表す。
本手法は従来型のデータ駆動手法と従来型の正規化手法を一貫して上回っている。
論文 参考訳(メタデータ) (2023-09-17T12:06:04Z) - Solving Inverse Problems with Latent Diffusion Models via Hard Data Consistency [7.671153315762146]
画素空間におけるトレーニング拡散モデルは、データ集約的かつ計算的に要求される。
非常に低次元空間で動作する潜在拡散モデルは、これらの課題に対する解決策を提供する。
我々は,事前学習した潜在拡散モデルを用いて,一般的な逆問題を解決するアルゴリズムであるtextitReSampleを提案する。
論文 参考訳(メタデータ) (2023-07-16T18:42:01Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - The Deep Generative Decoder: MAP estimation of representations improves
modeling of single-cell RNA data [0.0]
モデルパラメータと表現を直接最大後部推定(MAP)により計算する単純な生成モデルを提案する。
このアプローチの利点は、その単純さと、同等のVAEよりもはるかに小さな次元の表現を提供する能力である。
論文 参考訳(メタデータ) (2021-10-13T12:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。