論文の概要: On Leave-One-Out Conditional Mutual Information For Generalization
- arxiv url: http://arxiv.org/abs/2207.00581v1
- Date: Fri, 1 Jul 2022 17:58:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 14:47:21.647885
- Title: On Leave-One-Out Conditional Mutual Information For Generalization
- Title(参考訳): 一般化のための残余条件付き相互情報について
- Authors: Mohamad Rida Rammal, Alessandro Achille, Aditya Golatkar, Suhas
Diggavi, Stefano Soatto
- Abstract要約: 残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
- 参考スコア(独自算出の注目度): 122.2734338600665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We derive information theoretic generalization bounds for supervised learning
algorithms based on a new measure of leave-one-out conditional mutual
information (loo-CMI). Contrary to other CMI bounds, which are black-box bounds
that do not exploit the structure of the problem and may be hard to evaluate in
practice, our loo-CMI bounds can be computed easily and can be interpreted in
connection to other notions such as classical leave-one-out cross-validation,
stability of the optimization algorithm, and the geometry of the
loss-landscape. It applies both to the output of training algorithms as well as
their predictions. We empirically validate the quality of the bound by
evaluating its predicted generalization gap in scenarios for deep learning. In
particular, our bounds are non-vacuous on large-scale image-classification
tasks.
- Abstract(参考訳): 教師付き学習アルゴリズムのための情報理論一般化境界を, 残一条件相互情報(loo-cmi)の新たな尺度に基づいて導出する。
問題の構造を利用していないブラックボックス境界である他のCMI境界とは対照的に、我々のloo-CMI境界は計算が容易であり、古典的な左行一行のクロスバリデーション、最適化アルゴリズムの安定性、損失ランドスケープの幾何といった他の概念と関連して解釈することができる。
トレーニングアルゴリズムの出力と予測の両方に適用される。
ディープラーニングのシナリオで予測される一般化ギャップを評価することにより,境界の品質を実証的に検証する。
特に、大規模な画像分類タスクでは、境界は空白です。
関連論文リスト
- Understanding Generalization of Federated Learning via Stability:
Heterogeneity Matters [1.4502611532302039]
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
論文 参考訳(メタデータ) (2023-06-06T16:12:35Z) - Information Theoretic Lower Bounds for Information Theoretic Upper
Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。
本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。
既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文 参考訳(メタデータ) (2023-02-09T20:42:36Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳(メタデータ) (2022-08-16T21:22:34Z) - Understanding Generalization via Leave-One-Out Conditional Mutual
Information [37.49575289458763]
アルゴリズムの条件付き相互情報(CMI)の退行変種は、有界損失関数を持つ学習アルゴリズムの平均一般化誤差を制御する。
0-1の損失でゼロ経験的リスクを達成するアルゴリズム(補間アルゴリズム)を学習するために、我々は、残余CMIと古典的残余誤差推定との明示的な接続を提供する。
論文 参考訳(メタデータ) (2022-06-29T17:57:37Z) - CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery [88.97076030698433]
本稿では,教師なしスキル発見のためのアルゴリズムであるContrastive Intrinsic Control (CIC)を紹介する。
CICは、状態エントロピーを最大化することで、多様な振る舞いを明示的にインセンティブ化する。
CICは従来の教師なしスキル発見手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-02-01T00:36:29Z) - Generalization Bounds For Meta-Learning: An Information-Theoretic
Analysis [8.028776552383365]
本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。
我々は,MAMLの変種に対するデータ依存の一般化を提供する。
論文 参考訳(メタデータ) (2021-09-29T17:45:54Z) - Regret Analysis in Deterministic Reinforcement Learning [78.31410227443102]
本稿では,最適学習アルゴリズムの分析と設計の中心となる後悔の問題を考察する。
本稿では,システムパラメータに明示的に依存する対数問題固有の後悔の下位境界について述べる。
論文 参考訳(メタデータ) (2021-06-27T23:41:57Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Reasoning About Generalization via Conditional Mutual Information [26.011933885798506]
我々は、Mutual Information (CMI) を用いて、入力がどの程度の精度で認識できるかを定量化する。
CMIのバウンダリは,VC次元,圧縮スキーム,差分プライバシー,その他の手法から得られることを示す。
次に、有界な CMI は様々な種類の一般化を意味することを示す。
論文 参考訳(メタデータ) (2020-01-24T18:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。