Fugu-MT 論文翻訳(概要): Do Neural Networks Compress Manifolds Optimally?

論文の概要: Do Neural Networks Compress Manifolds Optimally?

arxiv url: http://arxiv.org/abs/2205.08518v1
Date: Tue, 17 May 2022 17:41:53 GMT
ステータス: 処理完了
システム内更新日: 2022-05-18 13:52:20.761348
Title: Do Neural Networks Compress Manifolds Optimally?
Title（参考訳）: ニューラルネットワークは多様体を最適に圧縮するか?
Authors: Sourbh Bhadane, Aaron B. Wagner, Johannes Ball\'e
Abstract要約: 人工ニューラルネットワークベース(ANNベース)損失圧縮機は、最近、いくつかのソースで顕著な結果を得た。現状のANN圧縮機は、特に高速でソースを最適に圧縮できないことを示す。
参考スコア（独自算出の注目度）: 22.90338354582811
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Artificial Neural-Network-based (ANN-based) lossy compressors have recently obtained striking results on several sources. Their success may be ascribed to an ability to identify the structure of low-dimensional manifolds in high-dimensional ambient spaces. Indeed, prior work has shown that ANN-based compressors can achieve the optimal entropy-distortion curve for some such sources. In contrast, we determine the optimal entropy-distortion tradeoffs for two low-dimensional manifolds with circular structure and show that state-of-the-art ANN-based compressors fail to optimally compress the sources, especially at high rates.
Abstract（参考訳）: 人工ニューラルネットワーク(annベース)の損失圧縮機は最近、いくつかのソースで目覚ましい結果を得ている。それらの成功は、高次元の周囲空間における低次元多様体の構造を識別する能力によるものと考えられる。実際、以前の研究では、アン系圧縮機がそのようなソースに対して最適なエントロピー・ディストレクション曲線を達成できることが示されている。対照的に、円形構造を持つ2つの低次元多様体に対する最適エントロピー歪トレードオフを決定し、最先端のANN圧縮機が特に高速でソースを最適に圧縮できないことを示す。

関連論文リスト

Diff-PCC: Diffusion-based Neural Compression for 3D Point Clouds [12.45444994957525]
我々はDiff-PCCと呼ばれる最初の拡散ベースの点クラウド圧縮手法を導入し、拡散モデルの表現力を利用して生成的かつ審美的に優れた復号を行う。実験により,提案したDiff-PCCが最先端の圧縮性能を実現することを示した。
論文参考訳（メタデータ） (2024-08-20T04:55:29Z)
SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks [13.706955134941385]
本研究では,SRN-SZを提案する。 SRN-SZはその圧縮に最も高度な超解像ネットワークHATを適用している。実験では、SRN-SZは最大75%の圧縮比の改善を同じ誤差境界下で達成する。
論文参考訳（メタデータ） (2023-09-07T22:15:32Z)
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文参考訳（メタデータ） (2021-12-07T13:41:51Z)
Out-of-Distribution Robustness in Deep Learning Compression [28.049124970993056]
ディープニューラルネットワーク(DNN)圧縮システムは、多くの天然資源のソースコードを設計するのに非常に効果的であることが証明されている。これらのシステムは、分散シフトの脆弱性や配布外データに悩まされており、現実世界のアプリケーションを減らすことができる。本稿では,DNN圧縮機を分散ロバスト最適化(DRO)を用いて訓練する手法と,構造化ラテントコードを用いたアルゴリズムおよびアーキテクチャフレームワークを提案する。
論文参考訳（メタデータ） (2021-10-13T19:54:07Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
Neural Network Compression Via Sparse Optimization [23.184290795230897]
スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
論文参考訳（メタデータ） (2020-11-10T03:03:55Z)
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文参考訳（メタデータ） (2020-10-22T02:34:33Z)
GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
論文参考訳（メタデータ） (2020-08-25T14:39:42Z)
On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文参考訳（メタデータ） (2020-02-27T19:52:24Z)
Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。