Fugu-MT 論文翻訳(概要): Individually Conditional Individual Mutual Information Bound on Generalization Error

論文の概要: Individually Conditional Individual Mutual Information Bound on Generalization Error

arxiv url: http://arxiv.org/abs/2012.09922v2
Date: Tue, 29 Dec 2020 00:57:55 GMT
ステータス: 処理完了
システム内更新日: 2021-05-02 10:15:52.699976
Title: Individually Conditional Individual Mutual Information Bound on Generalization Error
Title（参考訳）: 一般化誤差に基づく個別条件付き相互情報境界
Authors: Ruida Zhou, Chao Tian, Tie Liu
Abstract要約: Bu et al の誤差分解技術を組み合わせることで,一般化誤差に拘束される新たな情報理論を提案する。単純なガウス設定では、条件付き個人相互情報 (CIMI) と CIMI 境界は、Bu et al のそれよりも順序的に悪い。
参考スコア（独自算出の注目度）: 17.70259869911552
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a new information-theoretic bound on generalization error based on a combination of the error decomposition technique of Bu et al. and the conditional mutual information (CMI) construction of Steinke and Zakynthinou. In a previous work, Haghifam et al. proposed a different bound combining the two aforementioned techniques, which we refer to as the conditional individual mutual information (CIMI) bound. However, in a simple Gaussian setting, both the CMI and the CIMI bounds are order-wise worse than that by Bu et al.. This observation motivated us to propose the new bound, which overcomes this issue by reducing the conditioning terms in the conditional mutual information. In the process of establishing this bound, a conditional decoupling lemma is established, which also leads to a meaningful dichotomy and comparison among these information-theoretic bounds.
Abstract（参考訳）: 本稿では,bu と al の誤差分解手法を組み合わせた一般化誤差に関する新しい情報理論境界を提案する。そして、Steinke と Zakynthinou の条件付き相互情報(CMI)構築。前作『haghifam et al.』に収録。上記の2つの手法を組み合わせて、条件付き個別相互情報(CIMI)バウンダリを提案する。しかし、単純なガウス的な設定では、CMI と CIMI の境界は、Bu らによる境界よりも順序的に劣る。この観察により,条件付き相互情報における条件付け項を削減し,この問題を克服する新たな境界の提案が求められた。この境界を確立する過程で条件付き疎結合補題が確立され、これらの情報理論境界間の有意義な二分法と比較がもたらされる。

関連論文リスト

On Regularization and Inference with Label Constraints [62.60903248392479]
機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
論文参考訳（メタデータ） (2023-07-08T03:39:22Z)
A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文参考訳（メタデータ） (2023-05-18T15:36:20Z)
Exactly Tight Information-Theoretic Generalization Error Bound for the Quadratic Gaussian Problem [16.04977600068383]
我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。既存の境界はこの設定で順序的に緩い。その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
論文参考訳（メタデータ） (2023-05-01T15:22:58Z)
Fast Rate Information-theoretic Bounds on Generalization Errors [8.102199960821165]
学習アルゴリズムの一般化誤差は、学習アルゴリズムの学習データにおける損失と、目に見えないテストデータにおける損失との違いを指す。一般化誤差に関する様々な情報理論境界が文献で導出されている。本稿では,これらの境界の厳密性について,それらの収束速度の標本サイズ依存性の観点から検討する。
論文参考訳（メタデータ） (2023-03-26T08:59:05Z)
Semi-supervised Clustering with Two Types of Background Knowledge: Fusing Pairwise Constraints and Monotonicity Constraints [0.0]
本研究は,2種類の背景知識が存在する場合にクラスタリングを行う際の問題であるペアワイド制約と単調性制約に対処する。我々の提案は、さまざまなベンチマークデータセットと、実際の研究ケースでテストされている。
論文参考訳（メタデータ） (2023-02-25T17:44:57Z)
Tighter Information-Theoretic Generalization Bounds from Supersamples [27.14107452619853]
本稿では,学習アルゴリズムのための情報理論の新たな一般化境界について述べる。提示される境界は平方根境界、高速レート境界を含み、分散と鋭さに基づく境界を含む。理論的あるいは経験的に、これらの境界は、同じスーパーサンプル設定で知られているすべての情報理論境界よりも厳密であることを示す。
論文参考訳（メタデータ） (2023-02-05T17:06:27Z)
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文参考訳（メタデータ） (2022-12-27T17:16:48Z)
On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文参考訳（メタデータ） (2022-10-12T12:49:20Z)
On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文参考訳（メタデータ） (2022-07-01T17:58:29Z)
Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。提案手法は(線形速度で)大域的最適値に収束することが示されている。
論文参考訳（メタデータ） (2022-06-03T16:26:38Z)
R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
論文参考訳（メタデータ） (2021-06-19T04:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。