論文の概要: On Leave-One-Out Conditional Mutual Information For Generalization

• arxiv url: http://arxiv.org/abs/2207.00581v1
• Date: Fri, 1 Jul 2022 17:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 14:47:21.647885
• Title: On Leave-One-Out Conditional Mutual Information For Generalization
• Title（参考訳）: 一般化のための残余条件付き相互情報について
• Authors: Mohamad Rida Rammal, Alessandro Achille, Aditya Golatkar, Suhas Diggavi, Stefano Soatto
• Abstract要約: 残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
• 参考スコア（独自算出の注目度）: 122.2734338600665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive information theoretic generalization bounds for supervised learning algorithms based on a new measure of leave-one-out conditional mutual information (loo-CMI). Contrary to other CMI bounds, which are black-box bounds that do not exploit the structure of the problem and may be hard to evaluate in practice, our loo-CMI bounds can be computed easily and can be interpreted in connection to other notions such as classical leave-one-out cross-validation, stability of the optimization algorithm, and the geometry of the loss-landscape. It applies both to the output of training algorithms as well as their predictions. We empirically validate the quality of the bound by evaluating its predicted generalization gap in scenarios for deep learning. In particular, our bounds are non-vacuous on large-scale image-classification tasks.
• Abstract（参考訳）: 教師付き学習アルゴリズムのための情報理論一般化境界を, 残一条件相互情報(loo-cmi)の新たな尺度に基づいて導出する。 問題の構造を利用していないブラックボックス境界である他のCMI境界とは対照的に、我々のloo-CMI境界は計算が容易であり、古典的な左行一行のクロスバリデーション、最適化アルゴリズムの安定性、損失ランドスケープの幾何といった他の概念と関連して解釈することができる。 トレーニングアルゴリズムの出力と予測の両方に適用される。 ディープラーニングのシナリオで予測される一般化ギャップを評価することにより,境界の品質を実証的に検証する。 特に、大規模な画像分類タスクでは、境界は空白です。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
  学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。 一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
  論文  参考訳（メタデータ） (2024-08-20T10:08:21Z)
• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Understanding Generalization via Leave-One-Out Conditional Mutual Information [37.49575289458763]
  アルゴリズムの条件付き相互情報(CMI)の退行変種は、有界損失関数を持つ学習アルゴリズムの平均一般化誤差を制御する。 0-1の損失でゼロ経験的リスクを達成するアルゴリズム(補間アルゴリズム)を学習するために、我々は、残余CMIと古典的残余誤差推定との明示的な接続を提供する。
  論文  参考訳（メタデータ） (2022-06-29T17:57:37Z)
• CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery [88.97076030698433]
  本稿では,教師なしスキル発見のためのアルゴリズムであるContrastive Intrinsic Control (CIC)を紹介する。 CICは、状態エントロピーを最大化することで、多様な振る舞いを明示的にインセンティブ化する。 CICは従来の教師なしスキル発見手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-02-01T00:36:29Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Reasoning About Generalization via Conditional Mutual Information [26.011933885798506]
  我々は、Mutual Information (CMI) を用いて、入力がどの程度の精度で認識できるかを定量化する。 CMIのバウンダリは,VC次元,圧縮スキーム,差分プライバシー,その他の手法から得られることを示す。 次に、有界な CMI は様々な種類の一般化を意味することを示す。
  論文  参考訳（メタデータ） (2020-01-24T18:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。