論文の概要: Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure

• arxiv url: http://arxiv.org/abs/2008.07330v1
• Date: Fri, 14 Aug 2020 03:15:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 17:12:00.935739
• Title: Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
• Title（参考訳）: チ二乗微分に基づくPAC-Bayesian境界の最適後装とKL分割に基づく最適後装とクロスバリデーション法の比較
• Authors: Puja Sahu and Nandyala Hemachandra
• Abstract要約: カイ二乗発散に基づくPACBayesian境界の最適後部について,その分布,計算のスケーラビリティ,テストセットの性能について検討した。 チ二乗発散に基づく後肢は境界が弱く、試験誤差が悪くなるため、KL発散に基づく後肢による基礎的な正規化が示唆される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate optimal posteriors for recently introduced \cite{begin2016pac} chi-squared divergence based PAC-Bayesian bounds in terms of nature of their distribution, scalability of computations, and test set performance. For a finite classifier set, we deduce bounds for three distance functions: KL-divergence, linear and squared distances. Optimal posterior weights are proportional to deviations of empirical risks, usually with subset support. For uniform prior, it is sufficient to search among posteriors on classifier subsets ordered by these risks. We show the bound minimization for linear distance as a convex program and obtain a closed-form expression for its optimal posterior. Whereas that for squared distance is a quasi-convex program under a specific condition, and the one for KL-divergence is non-convex optimization (a difference of convex functions). To compute such optimal posteriors, we derive fast converging fixed point (FP) equations. We apply these approaches to a finite set of SVM regularization parameter values to yield stochastic SVMs with tight bounds. We perform a comprehensive performance comparison between our optimal posteriors and known KL-divergence based posteriors on a variety of UCI datasets with varying ranges and variances in risk values, etc. Chi-squared divergence based posteriors have weaker bounds and worse test errors, hinting at an underlying regularization by KL-divergence based posteriors. Our study highlights the impact of divergence function on the performance of PAC-Bayesian classifiers. We compare our stochastic classifiers with cross-validation based deterministic classifier. The latter has better test errors, but ours is more sample robust, has quantifiable generalization guarantees, and is computationally much faster.
• Abstract（参考訳）: 本稿では,最近導入されたChi-squared divergence を用いた PAC-Bayesian bounds の分布特性,計算のスケーラビリティ,テストセットの性能について検討する。 有限分類器集合に対して、KL-発散、線型および平方距離の3つの距離関数の境界を導出する。 最適後重みは経験的リスクの偏差に比例し、通常は部分的な支持を伴う。 均一な事前の場合、これらのリスクによって順序付けられた分類器部分集合の後方を探索するのに十分である。 線形距離に対する境界最小化を凸プログラムとして示し,その最適後方に対する閉形式式を得る。 2乗距離のプログラムは特定の条件下で準凸プログラムであり、kl-divergenceのプログラムは非凸最適化(凸関数の違い)である。 このような最適後方を計算するために、高速収束固定点(FP)方程式を導出する。 これらの手法を有限個のSVM正規化パラメータ値に適用し,厳密な境界を持つ確率的SVMを生成する。 各種UCIデータセットを用いて, 最適後部と既知のKL偏差に基づく後方部との総合的な性能比較を行い, リスク値のばらつき等について検討した。 chi-squared divergence based posteriorsは、より弱い境界とより悪いテストエラーを有し、kl-divergence based posteriorsによる基盤となる規則化を示唆している。 PAC-Bayesian分類器の性能に及ぼす発散関数の影響について検討した。 確率的分類器とクロスバリデーションに基づく決定論的分類器を比較する。 後者はテストエラーがより優れているが、我々のサンプルはより堅牢で、定量化の保証があり、より高速である。

関連論文リスト

• Towards Efficient and Optimal Covariance-Adaptive Algorithms for Combinatorial Semi-Bandits [12.674929126684528]
  我々は、プレイヤーがPアクションの中から d 個の基本アイテムを含む集合のパワーセットから選択する半帯域の問題に対処する。 提案手法は半帯域フィードバックを効果的に活用し,帯域フィードバックアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T08:07:54Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency [10.20554144865699]
  近似した後続分布を用いて計算した最適値の統計的整合性の問題に焦点をあてる。 また、近似最適化問題の実現可能性も証明する。 また,M/M/c待ち行列モデルに対する最適スタッフリング問題に対するアプローチの有用性を示す。
  論文  参考訳（メタデータ） (2021-06-23T07:11:39Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。