論文の概要: Image Modeling: From Handcrafted Priors to Foundation Image Models
- arxiv url: http://arxiv.org/abs/2610.36646v1
- Date: Tue, 27 Oct 2026 05:06:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.485871
- Title: Image Modeling: From Handcrafted Priors to Foundation Image Models
- Title(参考訳): 画像モデリング:手作りの先行技術から基礎画像モデルへ
- Abstract要約: 本稿では,画像の逆問題を解決するために,手作りの数学的抽出可能な先行モデルから進化した60年間のイメージモデリングを統一する。
信号処理と機械学習のコミュニティのギャップを埋めて、並列的な開発のように見えるものを、手作業による分析モデルからビッグデータから学んだモデルへの、単一の進化へと変えます。
- 参考スコア(独自算出の注目度): 6.633821337270489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper unifies six decades of image modeling, evolving from handcrafted mathematical tractable priors to solve inverse problems in imaging to data-driven deep foundation image models for both image generation and solving inverse problems, under a common Bayesian framework that formulates image modeling as an implicit or explicit probabilistic characterization of a data manifold. Every image restoration or generative task fundamentally seeks to answer the same question: What makes an image look like a real image? In the Bayesian framework, this question is encapsulated by the prior probability density p(x), or its more optimization-friendly counterpart, the log-prior log p(x). While early works in solving inverse problems, such as Tikhonov, Total Variation (TV), and Non-local priors relied on explicit handcrafted definitions of log prior to model local smoothness, modern techniques, such as Plug-and-Play (PnP) priors and Denoising Diffusion models, are rooted in algorithmic uncoupling and implicit manifold learning that apply to both inverse problems and conditional image generation. By grounding imaging inverse problems and conditional image generation under a single mathematical engine: the gradient of the log-prior, or the Stein Score Function, we bridge the gap between signal processing and machine learning communities, turning what seems like parallel developments into a single, evolution of image modeling from handcrafted analytical models to models learned from big data, demonstrating that the pursuit of the denoising score is the common thread connecting variational optimization (in MAP estimation) to posterior sampling (in modern foundation image models).
- Abstract(参考訳): 本稿では,データ多様体の暗黙的あるいは明示的な確率的特徴として画像モデリングを定式化する共通ベイズ的枠組みの下で,画像生成と逆問題の両方において,画像の逆問題からデータ駆動の深層基礎画像モデルへ進化する60年間の画像モデリングを統一する。
イメージ復元や生成タスクはすべて、基本的に同じ問いに答えようとしている。
ベイズフレームワークでは、この問題は事前確率密度 p(x) や、より最適化に親しみやすい対数 p(x) によってカプセル化される。
Tikhonov、Total Variation (TV)、Non-local Priorsといった逆問題の初期の研究は、局所的滑らかさのモデルに先立って、明示的な手作りのログ定義に依存していたが、Plug-and-Play(PnP)プリエントやDenoising Diffusionモデルといった現代的な技術は、逆問題と条件付き画像生成の両方に適用可能なアルゴリズム的アンカップリングと暗黙的多様体学習に根ざしている。
逆問題と条件付き画像生成を1つの数学的エンジンで基礎づけることで、信号処理と機械学習コミュニティのギャップを埋め、並列的な開発をひとつのものにし、手作り分析モデルからビッグデータから学習したモデルへの画像モデリングの進化を、変分最適化(MAP推定)と後続サンプリング(現代の基礎画像モデル)を接続する一般的なスレッドであることを示す。
関連論文リスト
- Video Generative Models as Geometry Learner [88.78682297429937]
幾何推定に対する最近の生成的アプローチは、事前訓練された画像拡散モデルに適応し、タスクを画像条件付き生成として扱う。
我々は、幾何学的推定のための統一的でデータ効率のよいフレームワークとして、事前訓練されたビデオ生成モデルを再利用する。
我々の手法であるGeoNeXtは、ビデオモデルから自然に構造化された知識とよりリッチな事前情報を継承し、画像と幾何学的対象の合同モデリングにさらに適応する。
論文 参考訳(メタデータ) (2026-08-28T17:25:31Z) - Geometric Consistency Refinement for Single Image Novel View Synthesis via Test-Time Adaptation of Diffusion Models [11.642407092687177]
単一画像NVSに対する拡散モデルにより生成された画像の幾何的正当性を改善する手法を提案する。
画像マッチングとエピポーラ制約に基づいて損失関数を定式化し,拡散サンプリングプロセスにおける開始雑音を最適化する。
本手法は,拡散モデルの訓練データや微調整を必要としない。
論文 参考訳(メタデータ) (2025-04-11T08:28:41Z) - Fast constrained sampling in pre-trained diffusion models [80.99262780028015]
任意の制約下で高速で高品質な生成を可能にするアルゴリズムを提案する。
我々の手法は、最先端のトレーニングフリー推論手法に匹敵するか、超越した結果をもたらす。
論文 参考訳(メタデータ) (2024-10-24T14:52:38Z) - Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction [31.503662384666274]
科学と工学において、ゴールは、ある画像のモダリティを記述する既知のフォワードモデルから収集された少数の測定値から未知の画像を推測することである。
モチベートされたスコアベース拡散モデルはその経験的成功により、画像再構成に先立って模範の印象的な候補として現れた。
論文 参考訳(メタデータ) (2024-03-25T15:58:26Z) - Image Generation with Multimodal Priors using Denoising Diffusion
Probabilistic Models [54.1843419649895]
このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。
本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
論文 参考訳(メタデータ) (2022-06-10T12:23:05Z) - Graph Convolutional Networks for Model-Based Learning in Nonlinear
Inverse Problems [2.0999222360659604]
モデルに基づく学習を非一様メッシュに直接拡張するための柔軟なフレームワークを提案する。
これにより、反復グラフ畳み込みニュートン法(GCNM)が提案される。
gcnmは異なるドメイン形状に対して強い一般化性を示す。
論文 参考訳(メタデータ) (2021-03-28T14:19:56Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z) - A Set-Theoretic Study of the Relationships of Image Models and Priors
for Restoration Problems [34.956580494340166]
画像復元における各画像モデルの有効性について検討する。
分析結果と一致するデノイング結果を比較した。
モデルに基づく手法を用いて,深層学習法で不必要に活用される画像特性を定量的に示す。
論文 参考訳(メタデータ) (2020-03-29T09:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。