Fugu-MT 論文翻訳(概要): Tighter Generalisation Bounds via Interpolation

論文の概要: Tighter Generalisation Bounds via Interpolation

arxiv url: http://arxiv.org/abs/2402.05101v1
Date: Wed, 7 Feb 2024 18:55:22 GMT
ステータス: 処理完了
システム内更新日: 2024-02-08 14:05:00.300256
Title: Tighter Generalisation Bounds via Interpolation
Title（参考訳）: 補間による高次一般化境界
Authors: Paul Viallard, Maxime Haddouche, Umut \c{S}im\c{s}ekli, Benjamin Guedj
Abstract要約: 本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
参考スコア（独自算出の注目度）: 16.74864438507713
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper contains a recipe for deriving new PAC-Bayes generalisation bounds based on the $(f, \Gamma)$-divergence, and, in addition, presents PAC-Bayes generalisation bounds where we interpolate between a series of probability divergences (including but not limited to KL, Wasserstein, and total variation), making the best out of many worlds depending on the posterior distributions properties. We explore the tightness of these bounds and connect them to earlier results from statistical learning, which are specific cases. We also instantiate our bounds as training objectives, yielding non-trivial guarantees and practical performances.
Abstract（参考訳）: 本論文は、$(f, \gamma)$-divergenceに基づく新しいpac-bayes一般化境界を導出するためのレシピを含み、さらに、一連の確率のばらつき(kl、waserstein、total variationを含む)を補間するpac-bayes一般化境界を提示し、後続分布の性質に応じて多くの世界の中で最良の結果を得る。これらの境界の厳密さを探求し、特定のケースである統計的学習の結果と結びつける。また、トレーニング目標として限界をインスタンス化し、非自明な保証と実践的なパフォーマンスをもたらします。

関連論文リスト

Information Capacity Regret Bounds for Bandits with Mediator Feedback [55.269551124587224]
我々は,政策セットの複雑さに対する情報理論尺度として,政策セットの容量を導入する。古典的なEXP4アルゴリズムを採用することで、ポリシーセットの容量に応じて、新たな後悔の限界を提供する。ポリシーセットファミリの選択については、キャパシティと同じようなスケールで、ほぼ整合性の低い境界を証明します。
論文参考訳（メタデータ） (2024-02-15T19:18:47Z)
PAC-Bayes-Chernoff bounds for unbounded losses [1.9799527196428246]
我々は,新しいPAC-Bayesオラクルを導入する。この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
論文参考訳（メタデータ） (2024-01-02T10:58:54Z)
A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文参考訳（メタデータ） (2023-05-18T15:36:20Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文参考訳（メタデータ） (2022-10-12T12:49:20Z)
Integral Probability Metrics PAC-Bayes Bounds [22.534592918803813]
PAC-Bayes型一般化バウンダリを提案し、KL分割を様々な積分確率メトリック(IPM)に置き換えることを可能にする。得られた境界の顕著な特徴は、それらが最悪の場合において古典的一様収束境界の間を自然に補間することである。
論文参考訳（メタデータ） (2022-07-01T18:22:44Z)
Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound [21.273964864852612]
M型エラーの集合の経験的確率と真確率の間のKulback-Leibler分散をバウンダリングすることで、リッチな情報を提供することができる最初のPAC-Bayes境界を提供する。我々の境界は、異なる誤分類の重大さが時間とともに変化する可能性がある場合に特に有用である。
論文参考訳（メタデータ） (2022-02-11T11:35:21Z)
Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。性能は不特定な事前条件で優雅に低下することを示す。
論文参考訳（メタデータ） (2021-07-03T23:17:26Z)
Learning Stochastic Majority Votes by Minimizing a PAC-Bayes Generalization Bound [15.557653926558638]
分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
論文参考訳（メタデータ） (2021-06-23T16:57:23Z)
An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。両課題に対してERMは極小最適であることを示す。
論文参考訳（メタデータ） (2021-02-25T19:06:48Z)
Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文参考訳（メタデータ） (2020-06-26T12:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。