論文の概要: Compression phase is not necessary for generalization in representation learning

• arxiv url: http://arxiv.org/abs/2102.07402v1
• Date: Mon, 15 Feb 2021 09:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:14:07.707101
• Title: Compression phase is not necessary for generalization in representation learning
• Title（参考訳）: 表現学習の一般化には圧縮位相は不要である
• Authors: Sungyeop Lee and Junghyo Jo
• Abstract要約: 訓練データから抽出した入出力関係を一般化するために圧縮位相が必要かどうかは議論の余地がある。 各種オートエンコーダを用いて実験を行い,情報処理フェーズの評価を行った。 表現学習における一般化には圧縮相は不要であると結論づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The outstanding performance of deep learning in various fields has been a fundamental query, which can be potentially examined using information theory that interprets the learning process as the transmission and compression of information. Information plane analyses of the mutual information between the input-hidden-output layers demonstrated two distinct learning phases of fitting and compression. It is debatable if the compression phase is necessary to generalize the input-output relations extracted from training data. In this study, we investigated this through experiments with various species of autoencoders and evaluated their information processing phase with an accurate kernel-based estimator of mutual information. Given sufficient training data, vanilla autoencoders demonstrated the compression phase, which was amplified after imposing sparsity regularization for hidden activities. However, we found that the compression phase is not universally observed in different species of autoencoders, including variational autoencoders, that have special constraints on network weights or manifold of hidden space. These types of autoencoders exhibited perfect generalization ability for test data without requiring the compression phase. Thus, we conclude that the compression phase is not necessary for generalization in representation learning.
• Abstract（参考訳）: 様々な分野における深層学習の卓越した性能は、学習過程を情報の伝達と圧縮として解釈する情報理論を用いて潜在的に検討できる基本的クエリである。 入力隠れ出力層間の相互情報の情報平面解析により、適合と圧縮の2つの異なる学習段階が示された。 訓練データから抽出した入出力関係を一般化するために圧縮位相が必要かどうかは議論の余地がある。 そこで本研究では, 各種オートエンコーダを用いた実験を行い, その情報処理過程について, 正確なカーネルベースの相互情報推定器を用いて評価した。 十分なトレーニングデータを得たバニラオートエンコーダは、隠れた活動に対して空間正規化を課した後、圧縮フェーズを増幅した。 しかし,ネットワーク重みや隠れ空間の多様体に特別な制約を持つ変分オートエンコーダを含む,異なる種類のオートエンコーダでは圧縮相が普遍的に観察されないことがわかった。 これらのタイプのオートエンコーダは、圧縮フェーズを必要とせず、テストデータの完全な一般化能力を示した。 したがって,表現学習の一般化には圧縮位相は必要ないと結論づける。

関連論文リスト

• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
  科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする 本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-12-21T03:00:18Z)
• Selective compression learning of latent representations for variable-rate image compression [38.077284943341105]
  本稿では、ディープラーニングに基づく可変レート画像圧縮のための、潜在表現を部分的に完全に一般化した方法で符号化する選択的圧縮法を提案する。 提案手法は、個別に訓練された参照圧縮モデルと同等の圧縮効率を達成でき、選択圧縮による復号時間を削減することができる。
  論文  参考訳（メタデータ） (2022-11-08T09:09:59Z)
• Learning Filter-Based Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• An Introduction to Neural Data Compression [30.62305356319998]
  ニューラル圧縮(Neural compression)は、ニューラルネットワークやその他の機械学習手法をデータ圧縮に適用する手法である。 この導入はエントロピー符号化やレート歪曲理論といった基本的なコーディングトピックをレビューすることによって、必要な背景を埋めることを目指している。
  論文  参考訳（メタデータ） (2022-02-14T08:01:00Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Neural Distributed Source Coding [90.54314702283168]
  分散ソース符号化(Distributed Source coding)は、デコーダにのみ利用可能な相関した側情報がない場合に入力を符号化するタスクである。 相関構造に依存せず,高次元に拡張可能な分散ソースコード符号化のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-05T04:50:43Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Adaptive Estimators Show Information Compression in Deep Neural Networks [2.578242050187029]
  情報ボトルネック理論は、ニューラルネットワークがそれらの表現を圧縮し、タスクに関係のない情報を無視することで、優れた一般化を実現することを提案している。 本稿では,ニューラルネットワークの隠れ活動に適応する,より堅牢な相互情報推定手法を開発する。 本研究では, アクティベーション関数の飽和は圧縮に必要ではなく, 異なるアクティベーション関数間で圧縮量が異なることを示す。
  論文  参考訳（メタデータ） (2019-02-24T23:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。