論文の概要: Rate-Distortion Analysis of Minimum Excess Risk in Bayesian Learning
- arxiv url: http://arxiv.org/abs/2105.04180v1
- Date: Mon, 10 May 2021 08:14:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:24:30.207953
- Title: Rate-Distortion Analysis of Minimum Excess Risk in Bayesian Learning
- Title（参考訳）: ベイズ学習における最小余剰リスクの速度歪み解析
- Authors: Hassan Hafez-Kolahi, Behrad Moniri, Shohreh Kasaei, Mahdieh Soleymani
Baghshah
- Abstract要約: ベイズ学習における最小余剰リスク(MER)は、データから学ぶ際に達成可能な最小損失と、基礎となるパラメータ$W$が観測された場合に達成できる最小損失との差として定義される。
我々は、これらの上界と下界の差に関する情報理論的境界を導出し、それらがMERに対して秩序的に厳密なレートを提供できることを示す。
- 参考スコア（独自算出の注目度）: 15.544041797200045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Minimum Excess Risk (MER) in Bayesian learning is defined as the difference
between the minimum expected loss achievable when learning from data and the
minimum expected loss that could be achieved if the underlying parameter $W$
was observed. In this paper, we build upon and extend the recent results of (Xu
& Raginsky, 2020) to analyze the MER in Bayesian learning and derive
information-theoretic bounds on it. We formulate the problem as a (constrained)
rate-distortion optimization and show how the solution can be bounded above and
below by two other rate-distortion functions that are easier to study. The
lower bound represents the minimum possible excess risk achievable by
\emph{any} process using $R$ bits of information from the parameter $W$. For
the upper bound, the optimization is further constrained to use $R$ bits from
the training set, a setting which relates MER to information-theoretic bounds
on the generalization gap in frequentist learning. We derive
information-theoretic bounds on the difference between these upper and lower
bounds and show that they can provide order-wise tight rates for MER. This
analysis gives more insight into the information-theoretic nature of Bayesian
learning as well as providing novel bounds.
- Abstract（参考訳）: ベイズ学習における最小余剰リスク(MER)は、データから学ぶ際に達成可能な最小損失と、基礎パラメータ$W$が観測された場合に達成できる最小損失との差として定義される。
本稿では,ベイズ学習におけるMERの分析と情報理論的バウンダリの導出を目的として,最近の成果(Xu & Raginsky, 2020)を構築し,拡張する。
この問題を(制約された)レート・ディストリビュート最適化として定式化し、解を研究しやすい他の2つのレート・ディストリビュート関数で上下にバインドする方法を示す。
下限は、パラメータ$W$から$R$ビットの情報を使用して \emph{any} プロセスで達成可能な最小限の過剰リスクを表す。
上限の場合、最適化はトレーニングセットから$r$bitを使用することにさらに制約される。これは、頻繁に学習する一般化ギャップに関する情報理論上の境界にmerを関連付ける設定である。
我々は、これらの上界と下界の差に関する情報理論的境界を導出し、それらがMERに対して秩序的に厳密なレートを提供できることを示す。
この分析は、ベイズ学習の情報理論的な性質と、新しい境界を提供する深い洞察を与える。
関連論文リスト
- Minimax Linear Regression under the Quantile Risk [31.277788690403522]
量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。
我々は,最近提案されたmin-max回帰法の変種における最悪のケース量子化リスクに一致する上限を証明した。
論文 参考訳（メタデータ） (2024-06-17T23:24:14Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Taylor Learning [0.0]
経験的リスク最小化は、教師付き機械学習におけるほとんどの最適化の背後にある。
本稿では,勾配降下や経験的リスク最小化を用いない実解析関数モデルを構築するための学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:10:58Z) - On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
論文 参考訳（メタデータ） (2022-07-12T08:20:41Z) - Information-Theoretic Bayes Risk Lower Bounds for Realizable Models [11.203656874463697]
本研究では,ベイズリスクと機械学習モデルの一般化誤差に関する情報理論の下限を導出する。
再現可能なモデルでは、速度歪み関数と相互情報の両方が解析に便利な表現を許容していることが示される。
論文 参考訳（メタデータ） (2021-11-08T15:42:35Z) - Under-bagging Nearest Neighbors for Imbalanced Classification [63.026765294759876]
我々は,不均衡な分類問題に対して,textitunder-bagging $k$-NN (textitunder-bagging $k$-NN) というアンサンブル学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-01T14:10:38Z) - Analytic Study of Families of Spurious Minima in Two-Layer ReLU Neural
Networks [15.711517003382484]
ヘッセンスペクトルは、$d$で成長する$Theta(d)$固有値を除いて、正近傍に集中していることが示される。
これにより、分岐理論の強力な道具を用いてミニマの作成と消滅が可能となる。
論文 参考訳（メタデータ） (2021-07-21T22:05:48Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳（メタデータ） (2021-06-28T00:38:54Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。
最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
論文 参考訳（メタデータ） (2021-01-31T16:17:56Z) - CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物
CLUBの特性とその変分近似に関する理論的解析を行う。
この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
論文 参考訳（メタデータ） (2020-06-22T05:36:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。