論文の概要: Integral Probability Metrics PAC-Bayes Bounds

• arxiv url: http://arxiv.org/abs/2207.00614v1
• Date: Fri, 1 Jul 2022 18:22:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 13:00:51.606511
• Title: Integral Probability Metrics PAC-Bayes Bounds
• Title（参考訳）: 積分確率計量PAC-Bayes境界
• Authors: Ron Amit, Baruch Epstein, Shay Moran, Ron Meir
• Abstract要約: PAC-Bayes型一般化バウンダリを提案し、KL分割を様々な積分確率メトリック(IPM)に置き換えることを可能にする。 得られた境界の顕著な特徴は、それらが最悪の場合において古典的一様収束境界の間を自然に補間することである。
• 参考スコア（独自算出の注目度）: 22.534592918803813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a PAC-Bayes-style generalization bound which enables the replacement of the KL-divergence with a variety of Integral Probability Metrics (IPM). We provide instances of this bound with the IPM being the total variation metric and the Wasserstein distance. A notable feature of the obtained bounds is that they naturally interpolate between classical uniform convergence bounds in the worst case (when the prior and posterior are far away from each other), and preferable bounds in better cases (when the posterior and prior are close). This illustrates the possibility of reinforcing classical generalization bounds with algorithm- and data-dependent components, thus making them more suitable to analyze algorithms that use a large hypothesis space.
• Abstract（参考訳）: 本稿では,KL分割を多種多様な積分確率メトリック(IPM)に置き換えることのできるPAC-Bayes型一般化境界を提案する。 IPM が総変動距離であり、ワッサーシュタイン距離であるような場合の例を提供する。 得られた境界の特筆すべき特徴は、最悪の場合において古典的一様収束境界(前方と後方が互いに遠く離れている場合)とより良い場合(後方と後方が近接している場合)において好ましい境界の間を自然に補間することである。 これは、古典的な一般化境界をアルゴリズムとデータ依存コンポーネントで強化する可能性を示しており、大きな仮説空間を使用するアルゴリズム分析により適している。

関連論文リスト

• Tighter Generalisation Bounds via Interpolation [16.74864438507713]
  本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。 また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
  論文  参考訳（メタデータ） (2024-02-07T18:55:22Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• A unified framework for information-theoretic generalization bounds [8.04975023021212]
  本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。 主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
  論文  参考訳（メタデータ） (2023-05-18T15:36:20Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• High Probability Convergence for Accelerated Stochastic Mirror Descent [29.189409618561964]
  領域の直径に対して最適解への初期距離に依存する境界による高確率収束を示す。 アルゴリズムは標準設定に類似したステップサイズを使用し、リプシッツ関数、滑らかな関数、およびそれらの線形結合に普遍的である。
  論文  参考訳（メタデータ） (2022-10-03T01:50:53Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure [0.0]
  カイ二乗発散に基づくPACBayesian境界の最適後部について,その分布,計算のスケーラビリティ,テストセットの性能について検討した。 チ二乗発散に基づく後肢は境界が弱く、試験誤差が悪くなるため、KL発散に基づく後肢による基礎的な正規化が示唆される。
  論文  参考訳（メタデータ） (2020-08-14T03:15:23Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)
• Generalized Sliced Distances for Probability Distributions [47.543990188697734]
  我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。 GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。 GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2020-02-28T04:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。