論文の概要: Sequential Estimation of Convex Divergences using Reverse Submartingales
and Exchangeable Filtrations
- arxiv url: http://arxiv.org/abs/2103.09267v1
- Date: Tue, 16 Mar 2021 18:22:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-18 12:49:57.774405
- Title: Sequential Estimation of Convex Divergences using Reverse Submartingales
and Exchangeable Filtrations
- Title(参考訳): 逆サブマーチンガルと交換性濾過を用いた凸発散の逐次推定
- Authors: Tudor Manole, Aaditya Ramdas
- Abstract要約: 本稿では,分布間の凸発散の逐次推定手法を提案する。
我々のアプローチの技術的基盤は、経験的凸の発散が(部分的に順序づけられた)逆潜水星であることの観察にある。
これらの技術は、信頼配列と凸発散の両方に関する既存の文献に強力な追加であるように見える。
- 参考スコア(独自算出の注目度): 31.088836418378534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a unified technique for sequential estimation of convex
divergences between distributions, including integral probability metrics like
the kernel maximum mean discrepancy, $\varphi$-divergences like the
Kullback-Leibler divergence, and optimal transport costs, such as powers of
Wasserstein distances. The technical underpinnings of our approach lie in the
observation that empirical convex divergences are (partially ordered) reverse
submartingales with respect to the exchangeable filtration, coupled with
maximal inequalities for such processes. These techniques appear to be powerful
additions to the existing literature on both confidence sequences and convex
divergences. We construct an offline-to-sequential device that converts a wide
array of existing offline concentration inequalities into time-uniform
confidence sequences that can be continuously monitored, providing valid
inference at arbitrary stopping times. The resulting sequential bounds pay only
an iterated logarithmic price over the corresponding fixed-time bounds,
retaining the same dependence on problem parameters (like dimension or alphabet
size if applicable).
- Abstract(参考訳): 本稿では,分布間の凸発散を逐次推定するための統一的な手法として,カーネルの最大平均偏差のような積分確率メトリクス,kullback-leibler発散のような$\varphi$-divergences,wasserstein距離のパワーなどの最適輸送コストなどを提案する。
我々のアプローチの技術的基盤は、経験的凸発散は交換可能な濾過に関して(部分的に順序づけられた)逆置換であり、そのような過程の最大不等式と結びついている。
これらの技法は、信頼シーケンスと凸発散の両方の既存の文献に強力な付加物であるように見える。
我々は,既存のオフライン濃度の不等式を連続的に監視可能な時間一様信頼シーケンスに変換し,任意の停止時間に有効な推論を提供するオフライン・ツー・シークエンシャルデバイスを構築した。
得られた逐次境界は、対応する固定時間境界に対して反復対数価格のみを支払い、問題パラメータ(適用可能な場合の寸法やアルファベットサイズなど)に同じ依存を保持する。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Sampling and estimation on manifolds using the Langevin diffusion [48.898189211250234]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳(メタデータ) (2023-12-22T18:01:11Z) - Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。
また、勾配法のようなベースラインよりも2~3$times$早く収束できることも示している。
論文 参考訳(メタデータ) (2023-10-21T00:03:54Z) - Almost-sure convergence of iterates and multipliers in stochastic
sequential quadratic optimization [21.022322975077653]
等式制約付き連続最適化問題の解法が近年注目されている。
収束保証は、ゼロを測定するための勾配の期待値に制限されている。
また,SQPアルゴリズムにより生成した予備値,ラグランジュ測度,ステーション測度に対する新たなほぼ収束保証を証明した。
論文 参考訳(メタデータ) (2023-08-07T16:03:40Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Approximation of optimization problems with constraints through kernel
Sum-Of-Squares [77.27820145069515]
我々は、点的不等式が非負の kSoS 関数のクラス内で等式となることを示す。
また, 等式制約に焦点をあてることで, 散乱不等式を用いることで, 制約のサンプリングにおける次元性の呪いを軽減することができることを示す。
論文 参考訳(メタデータ) (2023-01-16T10:30:04Z) - The rate of convergence of Bregman proximal methods: Local geometry vs.
regularity vs. sharpness [33.48987613928269]
与えられた手法の収束率は、関連するルジャンドル指数に大きく依存することを示す。
特に、境界解はゼロとノンゼロのルジャンドル指数を持つ手法の分離を示すことを示す。
論文 参考訳(メタデータ) (2022-11-15T10:49:04Z) - A lower confidence sequence for the changing mean of non-negative right
heavy-tailed observations with bounded mean [9.289846887298854]
信頼シーケンスは、時間パラメトリックカバレッジ保証付き予測可能なパラメータシーケンスに対する適応されたセット列を生成する。
この研究は、スラックが0に収束するランニング平均条件付き期待値に対して、漸近的でない低CSを構成する。
論文 参考訳(メタデータ) (2022-10-20T09:50:05Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z) - Fused-Lasso Regularized Cholesky Factors of Large Nonstationary
Covariance Matrices of Longitudinal Data [0.0]
大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。
行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-22T02:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。