論文の概要: An Information-Theoretic Framework for Out-of-Distribution Generalization with Applications to Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2403.19895v2
• Date: Fri, 13 Dec 2024 09:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 14:59:56.620756
• Title: An Information-Theoretic Framework for Out-of-Distribution Generalization with Applications to Stochastic Gradient Langevin Dynamics
• Title（参考訳）: 分布外一般化のための情報理論フレームワークと確率勾配ランゲヴィンダイナミクスへの応用
• Authors: Wenliang Liu, Guanding Yu, Lele Wang, Renjie Liao,
• Abstract要約: 機械学習におけるアウト・オブ・ディストリビューションの一般化について検討し,情報理論の一般化境界を確立する汎用フレームワークを提案する。 我々のフレームワークは、Integral Probability Metricと$f$-divergenceの間を自由に補間する。 CMI(Mutual Information Conditional)法と組み合わせて$f$-divergenceに着目し,CMIに基づく一般化境界を導出する。
• 参考スコア（独自算出の注目度）: 22.64636825553921
• License:
• Abstract: We study the Out-of-Distribution (OOD) generalization in machine learning and propose a general framework that establishes information-theoretic generalization bounds. Our framework interpolates freely between Integral Probability Metric (IPM) and $f$-divergence, which naturally recovers some known results (including Wasserstein- and KL-bounds), as well as yields new generalization bounds. Additionally, we show that our framework admits an optimal transport interpretation. When evaluated in two concrete examples, the proposed bounds either strictly improve upon existing bounds in some cases or match the best existing OOD generalization bounds. Moreover, by focusing on $f$-divergence and combining it with the Conditional Mutual Information (CMI) methods, we derive a family of CMI-based generalization bounds, which include the state-of-the-art ICIMI bound as a special instance. Finally, leveraging these findings, we analyze the generalization of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm, showing that our derived generalization bounds outperform existing information-theoretic generalization bounds in certain scenarios.
• Abstract（参考訳）: 機械学習におけるアウト・オブ・ディストリビューション(OOD)の一般化について検討し,情報理論の一般化境界を確立する汎用フレームワークを提案する。 我々のフレームワークは、積分確率メトリック(IPM)と$f$-divergenceの間を自由に補間し、自然にいくつかの既知の結果(ワッサーシュタイン-およびKL-バウンドを含む)を回復し、新しい一般化境界を得る。 さらに,我々のフレームワークは最適なトランスポート解釈を許容していることを示す。 2つの具体例で評価すると、提案された境界は、いくつかの場合において既存の境界を厳密に改善するか、または、最も優れたOOD一般化境界と一致するかのいずれかである。 さらに,$f$-divergenceに着目し,条件付き相互情報(CMI)法と組み合わせることで,CMIに基づく一般化境界系を導出する。 最後に,SGLD(Stochastic Gradient Langevin Dynamics)アルゴリズムの一般化を分析し,得られた一般化は,あるシナリオにおいて既存の情報理論の一般化よりも優れていることを示す。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization Bounds via Sharpness [41.65692353665847]
  モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。 強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
  論文  参考訳（メタデータ） (2024-03-11T02:57:27Z)
• Improving generalisation via anchor multivariate analysis [4.755199731453481]
  そこで我々は,ORD(out-of-distribution)一般化を改善するために,因果正則化拡張をアンカー回帰(AR)に導入した。 分散シフトに対してロバスト性を確保するために、アンカーフレームワークと整合して、アンカー互換の損失を提示する。 単純な正規化はOOD設定の堅牢性を高めることを観察する。
  論文  参考訳（メタデータ） (2024-03-04T09:21:10Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
  Skipperはモデルベースの強化学習フレームワークである。 これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。 環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
  論文  参考訳（メタデータ） (2023-09-30T02:25:18Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)
• Invariant Causal Prediction for Block MDPs [106.63346115341862]
  環境全体にわたる一般化は、実世界の課題への強化学習アルゴリズムの適用の成功に不可欠である。 本稿では,多環境環境における新しい観測を一般化するモデル不適合状態抽象化(MISA)を学習するための不変予測法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T21:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。