Fugu-MT 論文翻訳(概要): Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory

論文の概要: Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory

arxiv url: http://arxiv.org/abs/2510.12077v1
Date: Tue, 14 Oct 2025 02:38:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-15 19:02:32.15159
Title: Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory
Title（参考訳）: 圧縮性尺度の複雑さ:最小記述長と特異学習理論
Authors: Einar Urdshals, Edmund Lau, Jesse Hoogland, Stan van Wingerden, Daniel Murfet,
Abstract要約: ニューラルネットワークのような特異モデルに最小記述長(MDL)の原理を拡張するために,特異学習理論を用いてニューラルネットワークの圧縮性を検討した。局所学習係数(LLC)に基づく複雑性推定が密接に、場合によっては圧縮性と線形に相関していることが判明した。
参考スコア（独自算出の注目度）: 2.2108955587433434
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study neural network compressibility by using singular learning theory to extend the minimum description length (MDL) principle to singular models like neural networks. Through extensive experiments on the Pythia suite with quantization, factorization, and other compression techniques, we find that complexity estimates based on the local learning coefficient (LLC) are closely, and in some cases, linearly correlated with compressibility. Our results provide a path toward rigorously evaluating the limits of model compression.
Abstract（参考訳）: ニューラルネットワークのような特異モデルに最小記述長(MDL)の原理を拡張するために,特異学習理論を用いてニューラルネットワークの圧縮性を検討した。 Pythia スイートの量子化、分解、その他の圧縮技術による広範な実験により、局所学習係数(LLC)に基づく複雑性推定が密接に、場合によっては圧縮性と線形に相関していることが判明した。この結果は,モデル圧縮の限界を厳格に評価するための道筋を提供する。

関連論文リスト

The Power of Random Features and the Limits of Distribution-Free Gradient Descent [14.742677437485273]
パラメトリックモデル(例えばニューラルネットワーク)の勾配に基づく最適化とランダムな特徴の線形結合の最適化の関係について検討する。本研究の主目的は,データ分布を仮定することなく,最小バッチ勾配勾配(bSGD)を用いてパラメトリックモデルを学習できる場合,高い確率で対象関数を近似できることである。
論文参考訳（メタデータ） (2025-05-15T15:39:28Z)
Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD [31.61477313262589]
勾配降下(SGD)を訓練した一層ニューラルネットワークの検討加法的な重み付きノイズを各繰り返しに注入すると、任意の圧縮率に対して、アルゴリズムの出力が高い確率で圧縮可能であるように過度なパラメータ化のレベルが存在することを示す。
論文参考訳（メタデータ） (2023-06-13T20:37:02Z)
Semantic Probabilistic Layers for Neuro-Symbolic Learning [83.25785999205932]
我々は構造化出力予測(SOP)のための予測層を設計する。予測が事前に定義されたシンボリック制約のセットと一致していることを保証するため、任意のニューラルネットワークにプラグインすることができる。我々のセマンティック確率層(SPL)は、構造化された出力空間上で複雑な相関や制約をモデル化することができる。
論文参考訳（メタデータ） (2022-06-01T12:02:38Z)
An Information-Theoretic Framework for Supervised Learning [22.280001450122175]
後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
論文参考訳（メタデータ） (2022-03-01T05:58:28Z)
A deep learning driven pseudospectral PCE based FFT homogenization algorithm for complex microstructures [68.8204255655161]
提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
論文参考訳（メタデータ） (2021-10-26T07:02:14Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
PAC-learning gains of Turing machines over circuits and neural networks [1.4502611532302039]
私達は最低記述の長さの原則を持って来ることができるサンプル効率の潜在的な利益を研究します。我々はチューリングマシンを用いて普遍的なモデルと回路を表現する。回路の複雑さと密接性における古典的オープン問題との密接な関係を浮き彫りにする。
論文参考訳（メタデータ） (2021-03-23T17:03:10Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。