論文の概要: Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth
- arxiv url: http://arxiv.org/abs/2402.05013v1
- Date: Wed, 7 Feb 2024 16:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 14:41:28.350248
- Title: Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth
- Title（参考訳）: オートエンコーダによる構造化データの圧縮:非線形性と深さの利点
- Authors: Kevin K\"ogler, Alexander Shevchenko, Hamed Hassani, Marco Mondelli
- Abstract要約: 勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
- 参考スコア（独自算出の注目度）: 83.15263499262824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoencoders are a prominent model in many empirical branches of machine
learning and lossy data compression. However, basic theoretical questions
remain unanswered even in a shallow two-layer setting. In particular, to what
degree does a shallow autoencoder capture the structure of the underlying data
distribution? For the prototypical case of the 1-bit compression of sparse
Gaussian data, we prove that gradient descent converges to a solution that
completely disregards the sparse structure of the input. Namely, the
performance of the algorithm is the same as if it was compressing a Gaussian
source - with no sparsity. For general data distributions, we give evidence of
a phase transition phenomenon in the shape of the gradient descent minimizer,
as a function of the data sparsity: below the critical sparsity level, the
minimizer is a rotation taken uniformly at random (just like in the compression
of non-sparse data); above the critical sparsity, the minimizer is the identity
(up to a permutation). Finally, by exploiting a connection with approximate
message passing algorithms, we show how to improve upon Gaussian performance
for the compression of sparse data: adding a denoising function to a shallow
architecture already reduces the loss provably, and a suitable multi-layer
decoder leads to a further improvement. We validate our findings on image
datasets, such as CIFAR-10 and MNIST.
- Abstract（参考訳）: オートエンコーダは、機械学習と損失の多いデータ圧縮の多くの実証的な分野において顕著なモデルである。
しかし、基礎的な理論的疑問は、浅い2層の設定でも答えられていない。
特に、浅いオートエンコーダは、基盤となるデータ分布の構造をどの程度捉えていますか?
スパースガウスデータの1ビット圧縮の原型の場合、勾配降下が入力のスパース構造を完全に無視する解に収束することを証明する。
つまり、アルゴリズムのパフォーマンスは、ガウスのソースを圧縮しているのと同じで、スパース性はない。
一般的なデータ分布に対して、勾配降下最小化器の形状における位相遷移現象の証明を、データ空間の関数として与える: 臨界空間レベル以下では、最小化器はランダムに(非スパースデータの圧縮のように)回転する。
最後に、近似メッセージパッシングアルゴリズムとの接続を利用して、スパースデータの圧縮のためにガウス性能を改善する方法を示す: 浅いアーキテクチャにデノナイジング関数を追加すると、既に損失を確実に低減でき、適切なマルチ層デコーダがさらなる改善をもたらす。
我々は,CIFAR-10 や MNIST などの画像データセットを用いて,この結果を検証する。
関連論文リスト
- Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-09-28T15:16:58Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。
既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。
本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文 参考訳（メタデータ） (2021-08-19T07:03:22Z) - Orthogonal Features-based EEG Signal Denoising using Fractionally
Compressed AutoEncoder [16.889633963766858]
eeg(denoising electroencephalogram)信号の解法として分数ベースの圧縮オートエンコーダアーキテクチャが導入された。
提案アーキテクチャでは,既存の手法と比較して,標準データセットのデノゲーション結果が改善されている。
論文 参考訳（メタデータ） (2021-02-16T11:15:00Z) - Optimal Gradient Compression for Distributed and Federated Learning [9.711326718689492]
分散学習における計算ノード間の通信は、通常避けられない負担である。
通信効率の訓練アルゴリズムの最近の進歩は、圧縮技術を用いてボトルネックを減らしている。
本稿では,圧縮ベクトルの符号化に必要なビット数と圧縮誤差との基本的なトレードオフについて検討する。
論文 参考訳（メタデータ） (2020-10-07T07:58:59Z) - Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。
これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
論文 参考訳（メタデータ） (2020-08-19T08:03:09Z) - OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。
我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
論文 参考訳（メタデータ） (2020-05-14T17:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。