論文の概要: Minimum Description Length and Generalization Guarantees for
Representation Learning
- arxiv url: http://arxiv.org/abs/2402.03254v1
- Date: Mon, 5 Feb 2024 18:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 14:17:54.626873
- Title: Minimum Description Length and Generalization Guarantees for
Representation Learning
- Title（参考訳）: 表現学習のための最小記述長と一般化保証
- Authors: Milad Sefidgaran, Abdellatif Zaidi, Piotr Krasnowski
- Abstract要約: 本稿では,表現学習アルゴリズムの一般化誤差の上限を導出するフレームワークを提案する。
エンコーダの入力と表現の間の相互情報ではなく、我々の新しい境界は「マルチレター」相対エントロピーを含む。
著者たちの最もよく知る限り、確立された一般化境界は、情報ボトルネック型エンコーダと表現学習のための第一種である。
- 参考スコア（独自算出の注目度）: 16.2444595840653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A major challenge in designing efficient statistical supervised learning
algorithms is finding representations that perform well not only on available
training samples but also on unseen data. While the study of representation
learning has spurred much interest, most existing such approaches are
heuristic; and very little is known about theoretical generalization
guarantees.
In this paper, we establish a compressibility framework that allows us to
derive upper bounds on the generalization error of a representation learning
algorithm in terms of the "Minimum Description Length" (MDL) of the labels or
the latent variables (representations). Rather than the mutual information
between the encoder's input and the representation, which is often believed to
reflect the algorithm's generalization capability in the related literature but
in fact, falls short of doing so, our new bounds involve the "multi-letter"
relative entropy between the distribution of the representations (or labels) of
the training and test sets and a fixed prior. In particular, these new bounds
reflect the structure of the encoder and are not vacuous for deterministic
algorithms. Our compressibility approach, which is information-theoretic in
nature, builds upon that of Blum-Langford for PAC-MDL bounds and introduces two
essential ingredients: block-coding and lossy-compression. The latter allows
our approach to subsume the so-called geometrical compressibility as a special
case. To the best knowledge of the authors, the established generalization
bounds are the first of their kind for Information Bottleneck (IB) type
encoders and representation learning. Finally, we partly exploit the
theoretical results by introducing a new data-dependent prior. Numerical
simulations illustrate the advantages of well-chosen such priors over classical
priors used in IB.
- Abstract（参考訳）: 効率的な統計教師付き学習アルゴリズムを設計する上での大きな課題は、利用可能なトレーニングサンプルだけでなく、見えないデータでもうまく機能する表現を見つけることである。
表現学習の研究は大きな関心を呼んだが、そのようなアプローチの多くはヒューリスティックであり、理論的な一般化の保証についてはほとんど知られていない。
本稿では,ラベルの「最小記述長」(MDL)や潜在変数(表現)の観点から,表現学習アルゴリズムの一般化誤差の上限を導出する圧縮性フレームワークを確立する。
エンコーダの入力と表現の間の相互情報ではなく、関連する文献におけるアルゴリズムの一般化能力を反映していると見なされることが多いが、実際、我々の新しい境界は、トレーニングとテストセットの表現(またはラベル)の分布と固定された事前の間の「マルチレター」相対エントロピーを含む。
特に、これらの新しい境界はエンコーダの構造を反映しており、決定論的アルゴリズムでは空でない。
我々の圧縮性アプローチは本質的に情報理論であり,PAC-MDL境界にBlum-Langfordをベースとして,ブロック符号化と損失圧縮という2つの重要な要素を導入している。
後者は, いわゆる幾何圧縮率を特別な場合として仮定する手法である。
著者たちの知る限りでは、確立された一般化境界は、情報ボトルネック(ib)型エンコーダと表現学習のための最初のものである。
最後に,新しいデータ依存型プリエントを導入することで,理論的な結果を部分的に活用する。
数値シミュレーションは、ib で使われる古典的プリミティブよりも well-chosen prior の利点を示している。
関連論文リスト
- An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。
一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
論文 参考訳（メタデータ） (2024-08-20T10:08:21Z) - Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。
我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。
パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文 参考訳（メタデータ） (2024-06-06T13:15:37Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。
MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。
ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-10-20T17:58:30Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - Approximability and Generalisation [0.0]
予測器の完全精度と近似設定の両方において、学習における近似性の役割について検討する。
軽度の条件下では、より小さなラベル付きサンプルから近似可能なターゲット概念が学習可能であることを示す。
近似も同じ一般化保証を享受する優れた予測器を保証するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2022-03-15T15:21:48Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳（メタデータ） (2021-05-04T20:37:57Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳（メタデータ） (2020-07-08T08:48:56Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。