Fugu-MT 論文翻訳(概要): Information Complexity and Generalization Bounds

論文の概要: Information Complexity and Generalization Bounds

arxiv url: http://arxiv.org/abs/2105.01747v1
Date: Tue, 4 May 2021 20:37:57 GMT
ステータス: 処理完了
システム内更新日: 2021-05-07 00:12:54.857437
Title: Information Complexity and Generalization Bounds
Title（参考訳）: 情報複雑性と一般化境界
Authors: Pradeep Kr. Banerjee, Guido Mont\'ufar
Abstract要約: ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a unifying picture of PAC-Bayesian and mutual information-based upper bounds on the generalization error of randomized learning algorithms. As we show, Tong Zhang's information exponential inequality (IEI) gives a general recipe for constructing bounds of both flavors. We show that several important results in the literature can be obtained as simple corollaries of the IEI under different assumptions on the loss function. Moreover, we obtain new bounds for data-dependent priors and unbounded loss functions. Optimizing the bounds gives rise to variants of the Gibbs algorithm, for which we discuss two practical examples for learning with neural networks, namely, Entropy- and PAC-Bayes- SGD. Further, we use an Occam's factor argument to show a PAC-Bayesian bound that incorporates second-order curvature information of the training loss.
Abstract（参考訳）: ランダム化学習アルゴリズムの一般化誤差について,PAC-Bayesian と相互情報に基づく上限の統一画像を提案する。このように、トン・チャンの情報指数的不等式(IEI)は、両方のフレーバーの境界を構成する一般的なレシピを提供する。また,本論文におけるいくつかの重要な成果を,損失関数の異なる仮定下でのieiの単純な系譜として得ることができることを示した。さらに,データ依存先行関数と非有界損失関数の新たな境界を求める。境界を最適化することでgibbsアルゴリズムの変種が生まれ、ニューラルネットワークを用いた学習の2つの実用的な例、すなわちエントロピーとpac-bayes-sgdについて論じる。さらに,学習損失の2次曲率情報を含むPAC-ベイジアン境界を示すために,オッカムの因子論を用いた。

関連論文リスト

Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文参考訳（メタデータ） (2024-06-06T13:15:37Z)
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
我々はまず,データ依存仮説セットを出力するトレーニングアルゴリズムを前提として,厳密な方法でPAC-Bayesianフレームワークを適用した。このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
論文参考訳（メタデータ） (2024-04-26T14:28:18Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Information-Theoretic Generalization Bounds for Transductive Learning and its Applications [16.408850979966623]
我々は情報理論とPAC-ベイジアン理論の文脈におけるトランスダクティブ学習アルゴリズムの一般化境界を開発する。我々の理論結果は、合成データセットと実世界のデータセットの両方で検証される。
論文参考訳（メタデータ） (2023-11-08T09:48:42Z)
Disentangled Representation Learning with Transmitted Information Bottleneck [73.0553263960709]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文参考訳（メタデータ） (2023-11-03T03:18:40Z)
Mitigating the Effect of Incidental Correlations on Part-based Learning [50.682498099720114]
部分ベースの表現は、より解釈可能で、限られたデータでより一般化できる。パートベース表現のための2つの革新的な正規化手法を提案する。我々は、ベンチマークデータセット上の数ショットの学習タスクに対して、最先端(SoTA)パフォーマンスを示す。
論文参考訳（メタデータ） (2023-09-30T13:44:48Z)
Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文参考訳（メタデータ） (2023-02-09T20:42:36Z)
GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文参考訳（メタデータ） (2022-11-03T16:42:40Z)
On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文参考訳（メタデータ） (2022-07-01T17:58:29Z)
PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文参考訳（メタデータ） (2020-06-12T15:55:46Z)
On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。