論文の概要: Split-kl and PAC-Bayes-split-kl Inequalities

• arxiv url: http://arxiv.org/abs/2206.00706v1
• Date: Wed, 1 Jun 2022 18:42:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-04 06:00:02.935215
• Title: Split-kl and PAC-Bayes-split-kl Inequalities
• Title（参考訳）: Split-kl と PAC-Bayes-split-kl の不等式
• Authors: Yi-Shan Wu and Yevgeny Seldin
• Abstract要約: 我々は、klの不等式と低分散を活用できる能力を組み合わせた分割kl不等式(split-kl inequality)と呼ぶ。 ベルヌーイ確率変数の場合、kl不等式は経験的ベルンシュタインよりも厳密であり、経験的ベルンシュタイン不等式は kl よりも厳密である。 余剰損失の有界化に対する分割-kl不等式の適用について論じる。
• 参考スコア（独自算出の注目度）: 15.63537071742102
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We present a new concentration of measure inequality for sums of independent bounded random variables, which we name a split-kl inequality. The inequality combines the combinatorial power of the kl inequality with ability to exploit low variance. While for Bernoulli random variables the kl inequality is tighter than the Empirical Bernstein, for random variables taking values inside a bounded interval and having low variance the Empirical Bernstein inequality is tighter than the kl. The proposed split-kl inequality yields the best of both worlds. We discuss an application of the split-kl inequality to bounding excess losses. We also derive a PAC-Bayes-split-kl inequality and use a synthetic example and several UCI datasets to compare it with the PAC-Bayes-kl, PAC-Bayes Empirical Bernstein, PAC-Bayes Unexpected Bernstein, and PAC-Bayes Empirical Bennett inequalities.
• Abstract（参考訳）: 独立有界確率変数の和に対する測度不等式の新しい濃度を示し、これを分割-kl不等式と呼ぶ。 不等式はkl不等式の組合せ力と低分散を利用する能力を組み合わせたものである。 ベルヌーイ確率変数の場合、kl不等式は経験的ベルンシュタインよりも厳密であるが、有界区間内で値を取る確率変数に対して、経験的ベルンシュタイン不等式は kl よりも厳密である。 提案された分数klの不等式は、両方の世界の最高のものをもたらす。 余剰損失に対する分割-kl不等式の適用について論じる。 また、PAC-Bayes-split-klの不等式を導出し、PAC-Bayes-kl、PAC-Bayes Empirical Bernstein、PAC-Bayes Unexpected Bernstein、PAC-Bayes Empirical Bennettの不等式と比較するために、合成例といくつかのUCCデータセットを用いた。

関連論文リスト

• Sharp Matrix Empirical Bernstein Inequalities [30.14855064043107]
  有界固有値を持つ対称ランダム行列に対して、2つの鋭い経験的ベルンシュタイン不等式を示す。 鋭いことは、両方の不等式が未知の分散に厳密な方法で適応することを意味する。
  論文  参考訳（メタデータ） (2024-11-14T15:27:18Z)
• Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
  我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。 我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2024-06-18T08:54:04Z)
• Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities [91.12425544503395]
  変分不等式は平衡探索から逆学習まで様々な応用で用いられている。 ほとんどの分散アプローチには、通信コストというボトルネックがあります。 通信ラウンドの総数と1ラウンドのコストを削減する3つの主要な手法は、ローカル関数の類似性、送信された情報の圧縮、ローカル更新である。 本稿では,通信複雑性の理論的保証が最良であり,分散変動不等式に対する他の手法よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-15T12:11:27Z)
• Approximation of optimization problems with constraints through kernel Sum-Of-Squares [77.27820145069515]
  我々は、点的不等式が非負の kSoS 関数のクラス内で等式となることを示す。 また, 等式制約に焦点をあてることで, 散乱不等式を用いることで, 制約のサンプリングにおける次元性の呪いを軽減することができることを示す。
  論文  参考訳（メタデータ） (2023-01-16T10:30:04Z)
• On change of measure inequalities for $f$-divergences [5.799808780731661]
  戦略は、$f$-divergencesのルジャンドル変換とヤング・フェンシェルの不等式を組み合わせることに依存する。 我々は、$f$-divergencesを含む複雑さを伴う新しいPAC-Bayesian一般化を導出する。 最も人気のある$f$-divergencesに対して、結果をインスタンス化する。
  論文  参考訳（メタデータ） (2022-02-11T11:53:28Z)
• Some Hoeffding- and Bernstein-type Concentration Inequalities [47.24550702683417]
  独立確率変数の関数の濃度不等式を準ガウジアンおよび準指数条件下で証明する。 不等式の実用性は、リプシッツ函数クラスと非有界部分指数分布へのラデマチャー複素数の現在の古典的方法の拡張によって証明される。
  論文  参考訳（メタデータ） (2021-02-11T23:09:13Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Uncertainty Relations of Variances in View of the Weak Value [1.1699566743796068]
  我々は、同じ意味でシュル「オーディンガー不等式」の根底にある別の不等式が存在することを示した。 シュル「オーディンガーの不等式」の分解は、その構造と最小の不確実性状態を分析するためにより精査される。
  論文  参考訳（メタデータ） (2020-08-07T11:45:43Z)
• Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
  本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。 理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。 我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
  論文  参考訳（メタデータ） (2020-05-13T16:44:12Z)
• Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation [29.919144859026016]
  我々は、$f$-divergencesの変動表現が、測度の不等式を新しく変化させることを示す。 また、$alpha$-divergencesに対する測度不等式の乗法的変化と、Hammersley-Chapman-Robbinsの不等式の一般化版を示す。
  論文  参考訳（メタデータ） (2020-02-25T05:36:22Z)
• Concentration inequality using unconfirmed knowledge [2.538209532048867]
  確率変数が特定の領域内で値を取るという前提に基づいて濃度不等式を与える。 我々の不等式は他のよく知られた不等式よりも優れている。
  論文  参考訳（メタデータ） (2020-02-11T13:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。