論文の概要: An Information-Theoretic Framework for Out-of-Distribution Generalization with Applications to Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2403.19895v2
• Date: Fri, 13 Dec 2024 09:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 14:59:56.620756
• Title: An Information-Theoretic Framework for Out-of-Distribution Generalization with Applications to Stochastic Gradient Langevin Dynamics
• Title（参考訳）: 分布外一般化のための情報理論フレームワークと確率勾配ランゲヴィンダイナミクスへの応用
• Authors: Wenliang Liu, Guanding Yu, Lele Wang, Renjie Liao,
• Abstract要約: 機械学習におけるアウト・オブ・ディストリビューションの一般化について検討し,情報理論の一般化境界を確立する汎用フレームワークを提案する。 我々のフレームワークは、Integral Probability Metricと$f$-divergenceの間を自由に補間する。 CMI(Mutual Information Conditional)法と組み合わせて$f$-divergenceに着目し,CMIに基づく一般化境界を導出する。
• 参考スコア（独自算出の注目度）: 22.64636825553921
• License:
• Abstract: We study the Out-of-Distribution (OOD) generalization in machine learning and propose a general framework that establishes information-theoretic generalization bounds. Our framework interpolates freely between Integral Probability Metric (IPM) and $f$-divergence, which naturally recovers some known results (including Wasserstein- and KL-bounds), as well as yields new generalization bounds. Additionally, we show that our framework admits an optimal transport interpretation. When evaluated in two concrete examples, the proposed bounds either strictly improve upon existing bounds in some cases or match the best existing OOD generalization bounds. Moreover, by focusing on $f$-divergence and combining it with the Conditional Mutual Information (CMI) methods, we derive a family of CMI-based generalization bounds, which include the state-of-the-art ICIMI bound as a special instance. Finally, leveraging these findings, we analyze the generalization of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm, showing that our derived generalization bounds outperform existing information-theoretic generalization bounds in certain scenarios.
• Abstract（参考訳）: 機械学習におけるアウト・オブ・ディストリビューション(OOD)の一般化について検討し,情報理論の一般化境界を確立する汎用フレームワークを提案する。 我々のフレームワークは、積分確率メトリック(IPM)と$f$-divergenceの間を自由に補間し、自然にいくつかの既知の結果(ワッサーシュタイン-およびKL-バウンドを含む)を回復し、新しい一般化境界を得る。 さらに,我々のフレームワークは最適なトランスポート解釈を許容していることを示す。 2つの具体例で評価すると、提案された境界は、いくつかの場合において既存の境界を厳密に改善するか、または、最も優れたOOD一般化境界と一致するかのいずれかである。 さらに,$f$-divergenceに着目し,条件付き相互情報(CMI)法と組み合わせることで,CMIに基づく一般化境界系を導出する。 最後に,SGLD(Stochastic Gradient Langevin Dynamics)アルゴリズムの一般化を分析し,得られた一般化は,あるシナリオにおいて既存の情報理論の一般化よりも優れていることを示す。

関連論文リスト

• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis [8.028776552383365]
  本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。 我々は,MAMLの変種に対するデータ依存の一般化を提供する。
  論文  参考訳（メタデータ） (2021-09-29T17:45:54Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)
• Invariant Causal Prediction for Block MDPs [106.63346115341862]
  環境全体にわたる一般化は、実世界の課題への強化学習アルゴリズムの適用の成功に不可欠である。 本稿では,多環境環境における新しい観測を一般化するモデル不適合状態抽象化(MISA)を学習するための不変予測法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T21:03:01Z)
• Towards a generalization of information theory for hierarchical partitions [0.0]
  階層的分割を扱う情報理論の一般化を導入する。 特に、多くの古典的情報理論量の階層的一般化を導出する。
  論文  参考訳（メタデータ） (2020-02-27T11:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。