論文の概要: Does Compression Imply Generalization? A Minimum Description Length Perspective

• arxiv url: http://arxiv.org/abs/2610.21376v1
• Date: Thu, 15 Oct 2026 06:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.240972
• Title: Does Compression Imply Generalization? A Minimum Description Length Perspective
• Title（参考訳）: 圧縮は一般化を示唆するか : 最小記述長視点
• Abstract要約: 本稿では,訓練軌跡のみから計算可能な相補的な信号として,事前後悔を提案する。 アルゴリズムレベル情報ボトルネック(IB)に最近追加されたエンコーダ・複雑度補正は、MDLパラメータ記述長によって上界にあることを示す。 CIFAR-10とCIFAR-100の一般化誤差を実証的に追跡し、ピアソン相関は0.9。
• 参考スコア（独自算出の注目度）: 34.669626406252625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in modern learning theory is what notion of compression, if any, explains why over-parameterized neural networks generalize. Existing answers measure complexity at different levels, ranging from weights to representations; however, estimating the associated quantities either requires held-out data in principle or relies on the challenging (ultra) high-dimensional mutual information estimation. To overcome these challenges, we approach the question through the minimum description length (MDL) principle, and specifically, we propose the prequential regret as a complementary signal that is computable from the training trajectory alone. We establish that, in the (nearly) interpolating regime, the expected prequential regret upper-bounds the description length of the trained parameter under the algorithm-induced distribution, and that this description length translates into a high-probability generalization bound in the PAC-MDL setting. Along the way, we show that the encoder-complexity correction recently added to the algorithm-level information bottleneck (IB) is upper-bounded by an MDL parameter description length, \new{bringing together} the two views of compression from MDL and IB. Empirically, the prequential regret tracks the generalization error on CIFAR-10 and CIFAR-100, with Pearson correlations exceeding 0.9.
• Abstract（参考訳）: 現代の学習理論における中心的な問題は、圧縮の概念が、もしあるならば、なぜ過度パラメータ化されたニューラルネットワークが一般化されるのかを説明することである。 既存の答えは、重量から表現まで様々なレベルで複雑さを測るが、関連する量の推定には原則として保持データを必要とするか、高次元の高次元の相互情報推定に頼っている。 これらの課題を克服するため、我々は最小記述長(MDL)の原理を用いて質問にアプローチし、具体的には、トレーニング軌跡のみから計算可能な補完信号として、事前後悔を提案する。 我々は,(ほぼ)補間状態において,予測された逐次後悔は,アルゴリズムによって誘導された分布の下でのトレーニングパラメータの記述長を上界とし,この記述長は,PAC-MDL設定で有界な高確率一般化に変換されることを確認した。 その過程で,最近アルゴリズムレベルの情報ボトルネック(IB)に付加されたエンコーダ・複雑度補正は,MDLパラメータ記述長によって上界化され,MDLとISBからの圧縮の2つのビューが新たに作成されることを示す。 CIFAR-10とCIFAR-100の一般化誤差を実証的に追跡し、ピアソン相関は0.9。

関連論文リスト

• GQA-μP: The maximal parameterization update for grouped query attention [64.99972873396649]
  グループクエリアテンション(GQA)のためのPスケールの導出方法を示す。 また,GQA繰り返しハイパーパラメータ間での学習速度の伝達を示すことによって,理論的導出の有効性を示す。
  論文  参考訳（メタデータ） (2026-05-14T18:03:16Z)
• Bivariate Causal Discovery Using Rate-Distortion MDL: An Information Dimension Approach [2.1986675261317163]
  我々は,現状のMDLに基づく手法が原因変数の記述長を推定する問題に正しく対処していないことを論じる。 速度歪み理論に基づいて, 基礎となる分布の歪みレベルを表すのに必要な最小速度に対応する, 原因の記述長を測定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-04-07T13:01:49Z)
• Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory [2.2108955587433434]
  ニューラルネットワークのような特異モデルに最小記述長(MDL)の原理を拡張するために,特異学習理論を用いてニューラルネットワークの圧縮性を検討した。 局所学習係数(LLC)に基づく複雑性推定が密接に、場合によっては圧縮性と線形に相関していることが判明した。
  論文  参考訳（メタデータ） (2025-10-14T02:38:02Z)
• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。