論文の概要: Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning
Algorithms
- arxiv url: http://arxiv.org/abs/2203.02474v1
- Date: Fri, 4 Mar 2022 18:12:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 14:39:56.494769
- Title: Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning
Algorithms
- Title(参考訳): 確率学習アルゴリズムにおける速度歪み理論一般化境界
- Authors: Milad Sefidgaran, Amin Gohari, Ga\"el Richard, Umut \c{S}im\c{s}ekli
- Abstract要約: 我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。
我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
- 参考スコア(独自算出の注目度): 12.020634332110147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding generalization in modern machine learning settings has been one
of the major challenges in statistical learning theory. In this context, recent
years have witnessed the development of various generalization bounds
suggesting different complexity notions such as the mutual information between
the data sample and the algorithm output, compressibility of the hypothesis
space, and the fractal dimension of the hypothesis space. While these bounds
have illuminated the problem at hand from different angles, their suggested
complexity notions might appear seemingly unrelated, thereby restricting their
high-level impact. In this study, we prove novel generalization bounds through
the lens of rate-distortion theory, and explicitly relate the concepts of
mutual information, compressibility, and fractal dimensions in a single
mathematical framework. Our approach consists of (i) defining a generalized
notion of compressibility by using source coding concepts, and (ii) showing
that the `compression error rate' can be linked to the generalization error
both in expectation and with high probability. We show that in the `lossless
compression' setting, we recover and improve existing mutual information-based
bounds, whereas a `lossy compression' scheme allows us to link generalization
to the rate-distortion dimension -- a particular notion of fractal dimension.
Our results bring a more unified perspective on generalization and open up
several future research directions.
- Abstract(参考訳): 現代の機械学習設定における一般化を理解することは、統計学習理論における大きな課題の1つである。
この文脈では、近年、データサンプルとアルゴリズム出力の相互情報、仮説空間の圧縮性、仮説空間のフラクタル次元など、様々な複雑さの概念を示唆する一般化境界の開発が観察されている。
これらの境界は、異なる角度から問題に照らしているが、それらの示唆される複雑性の概念は無関係に見え、その結果、高いレベルの影響を制限する。
本研究では, 速度歪み理論のレンズによる新しい一般化を証明し, 1つの数学的枠組みにおける相互情報, 圧縮性, フラクタル次元の概念を明示的に記述する。
私たちのアプローチは
(i)ソースコーディング概念を用いて圧縮可能性の一般化概念を定義すること、
(ii)「圧縮誤差率」は期待値と確率値の両方において一般化誤差に関連付けられることを示す。
損失圧縮」の設定では、既存の相互情報に基づく境界を回復し改善する一方、「損失圧縮」スキームでは、一般化をレート・ディストリクト次元 -- フラクタル次元の特別な概念と結びつけることができる。
我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
関連論文リスト
- Generalization Guarantees via Algorithm-dependent Rademacher Complexity [33.408679482592426]
本稿では,アルゴリズムおよびデータ依存仮説クラスの経験的ラデマッハ複雑性である一般化誤差を制御する尺度を提案する。
有限フラクタル次元に基づく新しい境界を得るが、これは (a) 従来のフラクタル型境界を連続的な仮説クラスから有限的な仮説クラスに拡張し、 (b) 相互情報項を避ける。
論文 参考訳(メタデータ) (2023-07-04T18:37:38Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳(メタデータ) (2023-05-18T15:36:20Z) - Generalization Bounds with Data-dependent Fractal Dimensions [5.833272638548154]
フラクタル幾何学に基づく一般化境界をリプシッツの仮定を必要とせずに証明する。
技術的な複雑さは相当に多いが、この新しい概念は一般化誤差を制御できる。
論文 参考訳(メタデータ) (2023-02-06T13:24:48Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - PAC-Bayes Compression Bounds So Tight That They Can Explain
Generalization [48.26492774959634]
線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。
我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
論文 参考訳(メタデータ) (2022-11-24T13:50:16Z) - Non-Linear Spectral Dimensionality Reduction Under Uncertainty [107.01839211235583]
我々は、不確実性情報を活用し、いくつかの従来のアプローチを直接拡張する、NGEUと呼ばれる新しい次元削減フレームワークを提案する。
提案したNGEUの定式化は,大域的な閉形式解を示し,Radecherの複雑性に基づいて,基礎となる不確実性がフレームワークの一般化能力に理論的にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2022-02-09T19:01:33Z) - Intrinsic Dimension, Persistent Homology and Generalization in Neural
Networks [19.99615698375829]
一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。
我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。
実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
論文 参考訳(メタデータ) (2021-11-25T17:06:15Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳(メタデータ) (2021-03-05T04:42:32Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳(メタデータ) (2021-03-03T04:13:14Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。