論文の概要: Preconditioned Langevin Dynamics with Score-Based Generative Models for Infinite-Dimensional Linear Bayesian Inverse Problems

• arxiv url: http://arxiv.org/abs/2505.18276v1
• Date: Fri, 23 May 2025 18:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.315145
• Title: Preconditioned Langevin Dynamics with Score-Based Generative Models for Infinite-Dimensional Linear Bayesian Inverse Problems
• Title（参考訳）: 有限次元線形ベイズ逆問題に対するスコアベース生成モデルを用いたプレコンディショニングランゲヴィンダイナミクス
• Authors: Lorenzo Baldassari, Josselin Garnier, Knut Solna, Maarten V. de Hoop,
• Abstract要約: スコアベース生成モデル(SGM)によって駆動されるランゲヴィン力学は、関数空間内で直接的に定式化される。 スコアの近似誤差に明示的に依存する誤差推定を初めて導いた。 その結果、基底函数空間上のクルバック・リーブラー発散における大域収束のための十分条件が得られる。
• 参考スコア（独自算出の注目度）: 4.2223436389469144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing algorithms for solving high-dimensional Bayesian inverse problems directly in infinite-dimensional function spaces - where such problems are naturally formulated - is crucial to ensure stability and convergence as the discretization of the underlying problem is refined. In this paper, we contribute to this line of work by analyzing a widely used sampler for linear inverse problems: Langevin dynamics driven by score-based generative models (SGMs) acting as priors, formulated directly in function space. Building on the theoretical framework for SGMs in Hilbert spaces, we give a rigorous definition of this sampler in the infinite-dimensional setting and derive, for the first time, error estimates that explicitly depend on the approximation error of the score. As a consequence, we obtain sufficient conditions for global convergence in Kullback-Leibler divergence on the underlying function space. Preventing numerical instabilities requires preconditioning of the Langevin algorithm and we prove the existence and the form of an optimal preconditioner. The preconditioner depends on both the score error and the forward operator and guarantees a uniform convergence rate across all posterior modes. Our analysis applies to both Gaussian and a general class of non-Gaussian priors. Finally, we present examples that illustrate and validate our theoretical findings.
• Abstract（参考訳）: 無限次元函数空間において、そのような問題を自然に定式化する高次元ベイズ逆問題を直接解くためのアルゴリズムの設計は、基礎となる問題の離散化が洗練されるにつれて、安定性と収束性を確保するために不可欠である。 本稿では,線形逆問題に対して広く用いられるサンプルを解析することにより,この研究の行に寄与する: スコアベース生成モデル(SGM)によって駆動されるランゲヴィンダイナミクスは,関数空間内で直接的に定式化される。 ヒルベルト空間におけるSGMの理論的枠組みに基づいて、無限次元の設定においてこのサンプルの厳密な定義を与え、初めて、スコアの近似誤差に明示的に依存する誤差推定を導出する。 その結果、基底函数空間上のクルバック・リーブラー発散における大域収束のための十分条件が得られる。 数値不安定の防止にはランゲヴィンアルゴリズムの事前条件が必要であり、最適プレコンディショナーの存在と形態を証明する。 プリコンディショナーはスコアエラーとフォワード演算子の両方に依存し、すべての後部モードにわたって一様収束率を保証する。 我々の解析はガウス的および非ガウス的事前の一般クラスの両方に適用できる。 最後に, 理論的な知見を実証し, 検証する例を示す。

関連論文リスト

• Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization [0.40964539027092917]
  我々は、余分な有界性仮定を伴わない元の問題の最小ノルム解に対して、reg-SGDの強い収束性を証明する。 分析の結果,Tikhonov正則化がSGDの流れを制御し,安定した学習力学が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-16T16:53:49Z)
• Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels [5.663076715852465]
  ポーランド空間から分離可能なヒルベルト空間へ非線形作用素を推定するための正規収束エンコーダ降下(SGD)アルゴリズムについて検討する。 一般SGDスキームに対して高い確率で境界を導出する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-04-25T08:57:38Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。