論文の概要: Sinkhorn Barycenter via Functional Gradient Descent
- arxiv url: http://arxiv.org/abs/2007.10449v1
- Date: Mon, 20 Jul 2020 20:16:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 12:55:17.791101
- Title: Sinkhorn Barycenter via Functional Gradient Descent
- Title（参考訳）: 機能勾配降下によるシンクホーンバリセンタ
- Authors: Zebang Shen, Zhenfu Wang, Alejandro Ribeiro, Hamed Hassani
- Abstract要約: 我々はシンクホーン発散の下で確率分布の集合のバリ中心を計算することの問題を考察する。
この問題は最近、グラフィックス、学習、ビジョンなど、さまざまな領域にまたがるアプリケーションを見つけました。
Sinkhorn Descent という関数勾配降下法を開発した。
- 参考スコア（独自算出の注目度）: 125.89871274202439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the problem of computing the barycenter of a set
of probability distributions under the Sinkhorn divergence.
This problem has recently found applications across various domains,
including graphics, learning, and vision, as it provides a meaningful mechanism
to aggregate knowledge.
Unlike previous approaches which directly operate in the space of probability
measures, we recast the Sinkhorn barycenter problem as an instance of
unconstrained functional optimization and develop a novel functional gradient
descent method named Sinkhorn Descent (SD).
We prove that SD converges to a stationary point at a sublinear rate, and
under reasonable assumptions, we further show that it asymptotically finds a
global minimizer of the Sinkhorn barycenter problem. Moreover, by providing a
mean-field analysis, we show that SD preserves the weak convergence of
empirical measures.
Importantly, the computational complexity of SD scales linearly in the
dimension $d$ and we demonstrate its scalability by solving a $100$-dimensional
Sinkhorn barycenter problem.
- Abstract（参考訳）: 本稿では、シンクホーンの発散の下で確率分布の集合のバリ中心を計算する問題を考える。
この問題は、知識を集約する意味のあるメカニズムを提供するため、最近、グラフィック、学習、ビジョンを含む様々な領域にまたがるアプリケーションを発見した。
確率測度の空間で直接作用する従来の手法とは異なり, 制約のない関数最適化の例として, シンクホーン・バリセンタ問題を再キャストし, シンクホーン降下法 (sd) という新しい関数勾配降下法を開発した。
SD が準線形速度で定常点に収束することを証明し、合理的な仮定の下ではシンクホルン・バリセンター問題の大域的最小化を漸近的に発見する。
さらに,平均場解析を行うことにより,sdは経験的測度の弱い収束を保っていることを示す。
重要なことに、SDの計算複雑性は次元$d$で線形にスケールし、100ドルのSinkhorn Barycenter問題を解くことでそのスケーラビリティを実証する。
関連論文リスト
- Implicit Bias and Fast Convergence Rates for Self-attention [30.08303212679308]
トランスフォーマーのコアメカニズムであるセルフアテンションは、従来のニューラルネットワークと区別し、その優れたパフォーマンスを駆動する。
固定線形復号器をバイナリに固定した自己アテンション層をトレーニングする際の勾配降下(GD)の暗黙バイアスについて検討した。
W_t$ から $W_mm$ に対する最初の有限時間収束率と、注意写像のスペーサー化率を提供する。
論文 参考訳（メタデータ） (2024-02-08T15:15:09Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Faster high-accuracy log-concave sampling via algorithmic warm starts [6.117084972237769]
実際には、古典的なメトロポリス調整ランゲヴィンアルゴリズム(MALA)のような高精度なサンプリング器は事実上のゴールド標準のままである。
我々は,このサンプリング問題の次元依存性を$tildeO(d1/2)$に改善し,MALAでは$tildeO(d1/2)$とした。
我々の主な技術的貢献は、離散化アンダーダム化ランゲヴィン拡散に対する最初の$tildeO(d1/2)$ R'enyi混合速度を確立することでこの問題を解決することである。
論文 参考訳（メタデータ） (2023-02-20T19:27:21Z) - Estimating 2-Sinkhorn Divergence between Gaussian Processes from
Finite-Dimensional Marginals [4.416484585765028]
エルフガウス過程 (GP) 間の2-シンクホーンの偏差を有限次元の辺分布を用いて推定する収束性について検討する。
境界値が基底値に従ってサンプリングされた場合, ほぼ確実に発散の収束を示す。
論文 参考訳（メタデータ） (2021-02-05T16:17:55Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳（メタデータ） (2021-02-05T14:02:20Z) - Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
論文 参考訳（メタデータ） (2020-11-09T02:51:17Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Scalable Computations of Wasserstein Barycenter via Input Convex Neural
Networks [15.171726731041055]
ワッサーシュタイン・バリーセンター(Wasserstein Barycenter)は、与えられた確率分布の集合の重み付き平均を表す原理的なアプローチである。
本稿では,Wasserstein Barycentersを機械学習の高次元的応用を目的とした,スケーラブルな新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-08T22:41:18Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳（メタデータ） (2020-06-03T23:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。