論文の概要: Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning
Algorithms
- arxiv url: http://arxiv.org/abs/2203.02474v1
- Date: Fri, 4 Mar 2022 18:12:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 14:39:56.494769
- Title: Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning
Algorithms
- Title（参考訳）: 確率学習アルゴリズムにおける速度歪み理論一般化境界
- Authors: Milad Sefidgaran, Amin Gohari, Ga\"el Richard, Umut \c{S}im\c{s}ekli
- Abstract要約: 我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。
我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
- 参考スコア（独自算出の注目度）: 12.020634332110147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding generalization in modern machine learning settings has been one
of the major challenges in statistical learning theory. In this context, recent
years have witnessed the development of various generalization bounds
suggesting different complexity notions such as the mutual information between
the data sample and the algorithm output, compressibility of the hypothesis
space, and the fractal dimension of the hypothesis space. While these bounds
have illuminated the problem at hand from different angles, their suggested
complexity notions might appear seemingly unrelated, thereby restricting their
high-level impact. In this study, we prove novel generalization bounds through
the lens of rate-distortion theory, and explicitly relate the concepts of
mutual information, compressibility, and fractal dimensions in a single
mathematical framework. Our approach consists of (i) defining a generalized
notion of compressibility by using source coding concepts, and (ii) showing
that the `compression error rate' can be linked to the generalization error
both in expectation and with high probability. We show that in the `lossless
compression' setting, we recover and improve existing mutual information-based
bounds, whereas a `lossy compression' scheme allows us to link generalization
to the rate-distortion dimension -- a particular notion of fractal dimension.
Our results bring a more unified perspective on generalization and open up
several future research directions.
- Abstract（参考訳）: 現代の機械学習設定における一般化を理解することは、統計学習理論における大きな課題の1つである。
この文脈では、近年、データサンプルとアルゴリズム出力の相互情報、仮説空間の圧縮性、仮説空間のフラクタル次元など、様々な複雑さの概念を示唆する一般化境界の開発が観察されている。
これらの境界は、異なる角度から問題に照らしているが、それらの示唆される複雑性の概念は無関係に見え、その結果、高いレベルの影響を制限する。
本研究では, 速度歪み理論のレンズによる新しい一般化を証明し, 1つの数学的枠組みにおける相互情報, 圧縮性, フラクタル次元の概念を明示的に記述する。
私たちのアプローチは
(i)ソースコーディング概念を用いて圧縮可能性の一般化概念を定義すること、
(ii)「圧縮誤差率」は期待値と確率値の両方において一般化誤差に関連付けられることを示す。
損失圧縮」の設定では、既存の相互情報に基づく境界を回復し改善する一方、「損失圧縮」スキームでは、一般化をレート・ディストリクト次元 -- フラクタル次元の特別な概念と結びつけることができる。
我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
関連論文リスト
- Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。
我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。
パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文 参考訳（メタデータ） (2024-06-06T13:15:37Z) - Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。
我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。
我々は、理論的な主張を合成データ実験で裏付ける。
論文 参考訳（メタデータ） (2024-06-01T18:01:03Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - Generalization Guarantees via Algorithm-dependent Rademacher Complexity [33.408679482592426]
本稿では,アルゴリズムおよびデータ依存仮説クラスの経験的ラデマッハ複雑性である一般化誤差を制御する尺度を提案する。
有限フラクタル次元に基づく新しい境界を得るが、これは (a) 従来のフラクタル型境界を連続的な仮説クラスから有限的な仮説クラスに拡張し、 (b) 相互情報項を避ける。
論文 参考訳（メタデータ） (2023-07-04T18:37:38Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - Generalization Bounds with Data-dependent Fractal Dimensions [5.833272638548154]
フラクタル幾何学に基づく一般化境界をリプシッツの仮定を必要とせずに証明する。
技術的な複雑さは相当に多いが、この新しい概念は一般化誤差を制御できる。
論文 参考訳（メタデータ） (2023-02-06T13:24:48Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Non-Linear Spectral Dimensionality Reduction Under Uncertainty [107.01839211235583]
我々は、不確実性情報を活用し、いくつかの従来のアプローチを直接拡張する、NGEUと呼ばれる新しい次元削減フレームワークを提案する。
提案したNGEUの定式化は,大域的な閉形式解を示し,Radecherの複雑性に基づいて,基礎となる不確実性がフレームワークの一般化能力に理論的にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2022-02-09T19:01:33Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。