論文の概要: A New Perspective On Denoising Based On Optimal Transport
- arxiv url: http://arxiv.org/abs/2312.08135v1
- Date: Wed, 13 Dec 2023 13:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 15:25:29.005243
- Title: A New Perspective On Denoising Based On Optimal Transport
- Title（参考訳）: 最適輸送に基づくDenoisingの新しい視点
- Authors: Nicolas Garcia Trillos and Bodhisattva Sen
- Abstract要約: 人口レベル設定において,新しい最適輸送(OT)に基づくデノイザを提案する。
我々は、OTベースのデノイザがよく定義され、一意であり、Monge OT問題の解と密接な関係があることを証明した。
特にツイーディの公式のおかげで、Omega$ の確率モデル $ p(cdot midtheta)_theta が指数関数的な分布の族であるとき、OT ベースのデノイザーは Z$ の限界分布からのみ回収できる。
- 参考スコア（独自算出の注目度）: 2.7195102129095003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the standard formulation of the denoising problem, one is given a
probabilistic model relating a latent variable $\Theta \in \Omega \subset
\mathbb{R}^m \; (m\ge 1)$ and an observation $Z \in \mathbb{R}^d$ according to:
$Z \mid \Theta \sim p(\cdot\mid \Theta)$ and $\Theta \sim G^*$, and the goal is
to construct a map to recover the latent variable from the observation. The
posterior mean, a natural candidate for estimating $\Theta$ from $Z$, attains
the minimum Bayes risk (under the squared error loss) but at the expense of
over-shrinking the $Z$, and in general may fail to capture the geometric
features of the prior distribution $G^*$ (e.g., low dimensionality,
discreteness, sparsity, etc.). To rectify these drawbacks, in this paper we
take a new perspective on this denoising problem that is inspired by optimal
transport (OT) theory and use it to propose a new OT-based denoiser at the
population level setting. We rigorously prove that, under general assumptions
on the model, our OT-based denoiser is well-defined and unique, and is closely
connected to solutions to a Monge OT problem. We then prove that, under
appropriate identifiability assumptions on the model, our OT-based denoiser can
be recovered solely from information of the marginal distribution of $Z$ and
the posterior mean of the model, after solving a linear relaxation problem over
a suitable space of couplings that is reminiscent of a standard multimarginal
OT (MOT) problem. In particular, thanks to Tweedie's formula, when the
likelihood model $\{ p(\cdot \mid \theta) \}_{\theta \in \Omega}$ is an
exponential family of distributions, the OT-based denoiser can be recovered
solely from the marginal distribution of $Z$. In general, our family of OT-like
relaxations is of interest in its own right and for the denoising problem
suggests alternative numerical methods inspired by the rich literature on
computational OT.
- Abstract（参考訳）: デノナイジング問題の標準的な定式化では、潜在変数 $\Theta \in \Omega \subset \mathbb{R}^m \; (m\ge 1)$ と観測値 $Z \mid \mathbb{R}^d$ に関する確率モデルが与えられる: $Z \mid \Theta \Theta \sim p(\cdot\mid \Theta)$ と $\Theta \sim G^*$ とすると、観測値から潜在変数を復元する写像を構築することが目的である。
後辺平均は、$\Theta$を$Z$から推定する自然な候補であり、最小ベイズリスク(二乗誤差損失の下で)を達成するが、$Z$を過度に削減する費用がかかると、一般には以前の分布の幾何的特徴(例えば、低次元性、離散性、空間性など)を捉えることができない。
これらの欠点を正すため,本稿では,最適輸送 (ot) 理論に着想を得た,このデノイジング問題に対する新たな視点を取り,人口レベルでの新しい ot ベースのデノイザー を提案する。
我々は、モデル上の一般的な仮定の下で、OTベースのデノイザは明確に定義され、一意であり、Monge OT問題の解と密接に関連していることを厳密に証明する。
モデル上の適切な識別可能性仮定の下では、標準の多元数 ot (mot) 問題を想起する適切な結合空間上の線形緩和問題を解いた後に、モデルの限界分布である$z$ と後平均の情報のみからotベースのデノイザーを回収できることを証明できる。
特に、ツイーディの公式により、確率モデル $\{ p(\cdot \mid \theta) \}_{\theta \in \Omega}$ が分布の指数族であるとき、OTベースのデノイザーは、Z$の辺分布からのみ回復することができる。
一般に、我々のotライクな緩和の族はそれ自体に興味を持ち、分母問題に対して計算 ot の豊かな文献に触発された別の数値的手法を提案する。
関連論文リスト
- Robust Barycenter Estimation using Semi-Unbalanced Neural Optimal Transport [84.51977664336056]
我々は,テクストロバスト連続バリセンタを推定するための,新しいスケーラブルなアプローチを提案する。
提案手法は$min$-$max$最適化問題であり,テキスト一般コスト関数に適応可能である。
論文 参考訳（メタデータ） (2024-10-04T23:27:33Z) - Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。
また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
論文 参考訳（メタデータ） (2024-06-10T22:57:27Z) - Restless Linear Bandits [5.00389879175348]
未知の$mathbbRd$-valued stationary $varphi$-mixing sequence of parameters $(theta_t,t in mathbbN)$ が存在すると仮定される。
指数混合率が$theta_t$の場合、LinMix-UCBと呼ばれる楽観的なアルゴリズムが提案される。
論文 参考訳（メタデータ） (2024-05-17T14:37:39Z) - Biology-inspired joint distribution neurons based on Hierarchical Correlation Reconstruction allowing for multidirectional neural networks [0.49728186750345144]
HCRを用いた新しい人工ニューロン(階層的相関再構成)
ネットワークはまた $rho(y,z|x) のような確率分布(ジョイント)を伝播することもできる。
論文 参考訳（メタデータ） (2024-05-08T14:49:27Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳（メタデータ） (2022-12-26T18:37:28Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Causal Bandits for Linear Structural Equation Models [58.2875460517691]
本稿では,因果図形モデルにおける最適な介入順序を設計する問題について検討する。
グラフの構造は知られており、ノードは$N$である。
頻繁性(UCBベース)とベイズ的設定に2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-26T16:21:31Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。
私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
論文 参考訳（メタデータ） (2021-03-01T19:48:44Z) - A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration [23.308822706415867]
高次直交反復(HOOI)に対するブロックワイドテンソル摂動境界を確立する。
モード-$k$特異部分空間推定の上限は、摂動と信号強度のブロックワイズ誤差を特徴とする量に一側収束することを示す。
一つの反復しか持たない一段階 HOOI がテンソル再構成の点でも最適であり,計算コストの低減に有効であることを示す。
論文 参考訳（メタデータ） (2020-08-06T03:01:28Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。