論文の概要: Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities

• arxiv url: http://arxiv.org/abs/2602.07999v1
• Date: Sun, 08 Feb 2026 14:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.915437
• Title: Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
• Title（参考訳）: 測度不等式の新しいクラスによる高次情報理論一般化境界
• Authors: Yanxiao Liu, Yijun Fan an Deniz Gündüz,
• Abstract要約: 特定事例として、$f$-divergencesや$2$-divergenceなど、幅広い情報手段のファミリーで測度の不等式を変更する。 次に、これらの不等式を学習アルゴリズムの一般化誤差の解析に組み込むとともに、簡易な解析によって最もよく知られた結果を復元する。
• 参考スコア（独自算出の注目度）: 2.4278445972594525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel class of change of measure inequalities via a unified framework based on the data processing inequality for $f$-divergences, which is surprisingly elementary yet powerful enough to yield tighter inequalities. We provide change of measure inequalities in terms of a broad family of information measures, including $f$-divergences (with Kullback-Leibler divergence and $χ^2$-divergence as special cases), Rényi divergence, and $α$-mutual information (with maximal leakage as a special case). We then embed these inequalities into the analysis of generalization error for stochastic learning algorithms, yielding novel and tighter high-probability information-theoretic generalization bounds, while also recovering several best-known results via simplified analyses. A key advantage of our framework is its flexibility: it readily adapts to a range of settings, including the conditional mutual information framework, PAC-Bayesian theory, and differential privacy mechanisms, for which we derive new generalization bounds.
• Abstract（参考訳）: 本稿では,データ処理の不等式($f$-divergences)に基づく統一フレームワークによる測度不等式の変更を提案する。 情報量的不等式の変化には、例えば、$f$-divergences(Kulback-Leibler の発散と$ ^2$-divergence を特殊ケースとして含む)、Rényi の発散、および$α$-mutual information(特殊ケースとして最大リークを含む)などが含まれる。 そして、これらの不等式を確率的学習アルゴリズムの一般化誤差の解析に組み込み、より新しくより厳密な高確率情報理論の一般化境界を得るとともに、簡易な解析によっていくつかの最もよく知られた結果を復元する。 条件付き相互情報フレームワーク、PAC-ベイジアン理論、微分プライバシー機構など、新しい一般化境界を導出する様々な設定に容易に適応できる。

関連論文リスト

• Asymptotically Optimal Linear Best Feasible Arm Identification with Fixed Budget [55.938644481736446]
  本稿では,誤差確率の指数的減衰を保証し,最適な腕識別のための新しいアルゴリズムを提案する。 我々は,複雑性のレベルが異なる様々な問題インスタンスに対する包括的経験的評価を通じて,アルゴリズムの有効性を検証する。
  論文  参考訳（メタデータ） (2025-06-03T02:56:26Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• A unified framework for information-theoretic generalization bounds [8.04975023021212]
  本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。 主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
  論文  参考訳（メタデータ） (2023-05-18T15:36:20Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Information Processing Equalities and the Information-Risk Bridge [10.451984251615512]
  本稿では,統計実験のための2つの新しい情報尺度について紹介する。 我々は,情報量測定と統計的決定問題のベイズリスクとの簡単な幾何学的関係を導出する。
  論文  参考訳（メタデータ） (2022-07-25T08:54:36Z)
• On change of measure inequalities for $f$-divergences [5.799808780731661]
  戦略は、$f$-divergencesのルジャンドル変換とヤング・フェンシェルの不等式を組み合わせることに依存する。 我々は、$f$-divergencesを含む複雑さを伴う新しいPAC-Bayesian一般化を導出する。 最も人気のある$f$-divergencesに対して、結果をインスタンス化する。
  論文  参考訳（メタデータ） (2022-02-11T11:53:28Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Instance-Dependent Complexity of Contextual Bandits and Reinforcement Learning: A Disagreement-Based Perspective [104.67295710363679]
  古典的なマルチアームバンディット問題において、インスタンス依存アルゴリズムは、ベストとセカンドベストのアーム間のギャップで「容易」な問題のパフォーマンスを向上させる。 我々は、インスタンス依存の後悔境界を得るのに十分かつ必要である複雑性尺度のファミリーを導入する。 次に、可能な限りギャップに適応する新しいオラクル効率アルゴリズムを導入し、最悪の場合にはミニマックスレートを得る。
  論文  参考訳（メタデータ） (2020-10-07T01:33:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。