論文の概要: Compression phase is not necessary for generalization in representation learning

• arxiv url: http://arxiv.org/abs/2102.07402v1
• Date: Mon, 15 Feb 2021 09:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:14:07.707101
• Title: Compression phase is not necessary for generalization in representation learning
• Title（参考訳）: 表現学習の一般化には圧縮位相は不要である
• Authors: Sungyeop Lee and Junghyo Jo
• Abstract要約: 訓練データから抽出した入出力関係を一般化するために圧縮位相が必要かどうかは議論の余地がある。 各種オートエンコーダを用いて実験を行い,情報処理フェーズの評価を行った。 表現学習における一般化には圧縮相は不要であると結論づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The outstanding performance of deep learning in various fields has been a fundamental query, which can be potentially examined using information theory that interprets the learning process as the transmission and compression of information. Information plane analyses of the mutual information between the input-hidden-output layers demonstrated two distinct learning phases of fitting and compression. It is debatable if the compression phase is necessary to generalize the input-output relations extracted from training data. In this study, we investigated this through experiments with various species of autoencoders and evaluated their information processing phase with an accurate kernel-based estimator of mutual information. Given sufficient training data, vanilla autoencoders demonstrated the compression phase, which was amplified after imposing sparsity regularization for hidden activities. However, we found that the compression phase is not universally observed in different species of autoencoders, including variational autoencoders, that have special constraints on network weights or manifold of hidden space. These types of autoencoders exhibited perfect generalization ability for test data without requiring the compression phase. Thus, we conclude that the compression phase is not necessary for generalization in representation learning.
• Abstract（参考訳）: 様々な分野における深層学習の卓越した性能は、学習過程を情報の伝達と圧縮として解釈する情報理論を用いて潜在的に検討できる基本的クエリである。 入力隠れ出力層間の相互情報の情報平面解析により、適合と圧縮の2つの異なる学習段階が示された。 訓練データから抽出した入出力関係を一般化するために圧縮位相が必要かどうかは議論の余地がある。 そこで本研究では, 各種オートエンコーダを用いた実験を行い, その情報処理過程について, 正確なカーネルベースの相互情報推定器を用いて評価した。 十分なトレーニングデータを得たバニラオートエンコーダは、隠れた活動に対して空間正規化を課した後、圧縮フェーズを増幅した。 しかし,ネットワーク重みや隠れ空間の多様体に特別な制約を持つ変分オートエンコーダを含む,異なる種類のオートエンコーダでは圧縮相が普遍的に観察されないことがわかった。 これらのタイプのオートエンコーダは、圧縮フェーズを必要とせず、テストデータの完全な一般化能力を示した。 したがって,表現学習の一般化には圧縮位相は必要ないと結論づける。

関連論文リスト

• Neural Normalized Compression Distance and the Disconnect Between Compression and Classification [42.98054061480037]
  我々はNeural NCDを開発し、LLMをgzipのような古典的な汎用アルゴリズムと比較する。 分類精度は圧縮速度だけでは予測できない。 我々の結果は、ニューラルネットワークが圧縮する意味に関する我々の直感が、まだよく理解されていないことを示唆している」。
  論文  参考訳（メタデータ） (2024-10-20T04:31:56Z)
• Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
  L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。 本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:00Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• An Introduction to Neural Data Compression [30.62305356319998]
  ニューラル圧縮(Neural compression)は、ニューラルネットワークやその他の機械学習手法をデータ圧縮に適用する手法である。 この導入はエントロピー符号化やレート歪曲理論といった基本的なコーディングトピックをレビューすることによって、必要な背景を埋めることを目指している。
  論文  参考訳（メタデータ） (2022-02-14T08:01:00Z)
• Neural Distributed Source Coding [59.630059301226474]
  相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。 提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:50:43Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Adaptive Estimators Show Information Compression in Deep Neural Networks [2.578242050187029]
  情報ボトルネック理論は、ニューラルネットワークがそれらの表現を圧縮し、タスクに関係のない情報を無視することで、優れた一般化を実現することを提案している。 本稿では,ニューラルネットワークの隠れ活動に適応する,より堅牢な相互情報推定手法を開発する。 本研究では, アクティベーション関数の飽和は圧縮に必要ではなく, 異なるアクティベーション関数間で圧縮量が異なることを示す。
  論文  参考訳（メタデータ） (2019-02-24T23:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。