論文の概要: Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods

• arxiv url: http://arxiv.org/abs/2212.13468v1
• Date: Tue, 27 Dec 2022 12:37:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:45:05.259517
• Title: Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods
• Title（参考訳）: 2層オートエンコーダの基本限界とグラディエント法による達成
• Authors: Alexander Shevchenko, Kevin K\"ogler, Hamed Hassani, Marco Mondelli
• Abstract要約: 本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
• 参考スコア（独自算出の注目度）: 91.54785981649228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoencoders are a popular model in many branches of machine learning and lossy data compression. However, their fundamental limits, the performance of gradient methods and the features learnt during optimization remain poorly understood, even in the two-layer setting. In fact, earlier work has considered either linear autoencoders or specific training regimes (leading to vanishing or diverging compression rates). Our paper addresses this gap by focusing on non-linear two-layer autoencoders trained in the challenging proportional regime in which the input dimension scales linearly with the size of the representation. Our results characterize the minimizers of the population risk, and show that such minimizers are achieved by gradient methods; their structure is also unveiled, thus leading to a concise description of the features obtained via training. For the special case of a sign activation function, our analysis establishes the fundamental limits for the lossy compression of Gaussian sources via (shallow) autoencoders. Finally, while the results are proved for Gaussian data, numerical simulations on standard datasets display the universality of the theoretical predictions.
• Abstract（参考訳）: オートエンコーダは、機械学習と損失データ圧縮の多くの分野で一般的なモデルである。 しかし、それらの基本的な限界、勾配法の性能、最適化中に学習した特徴は、2層設定においてもよく分かっていない。 実際、初期の研究はリニアオートエンコーダか、特定のトレーニングレジーム(圧縮率の消失や分散を導く)のどちらかを検討した。 本稿では,入力次元が表現の大きさと線形にスケールする挑戦的比例法で訓練された非線形2層オートエンコーダに着目して,このギャップに対処する。 本研究は,人口リスクの最小化を特徴とし,そのような最小化は勾配法によって達成されていることを示し,その構造も明らかにし,訓練によって得られた特徴を簡潔に記述する。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。 最後に、ガウスデータに対して結果が証明される一方で、標準データセット上の数値シミュレーションは理論予測の普遍性を示す。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• The dynamics of representation learning in shallow, non-linear autoencoders [3.1219977244201056]
  非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。 長時間のダイナミクスの分析では、シグモダルオートエンコーダが重みで学習できないことが説明されている。 本研究では,現実的なデータセット上での非線形オートエンコーダの一般化ダイナミクスを正確に記述する。
  論文  参考訳（メタデータ） (2022-01-06T15:57:31Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks [7.412225511828064]
  勾配降下で訓練された深い線形ネットワークは、低階解を生成する。 オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
  論文  参考訳（メタデータ） (2021-07-02T23:17:50Z)
• Implicit Rank-Minimizing Autoencoder [21.2045061949013]
  Implicit Rank-Minimizing Autoencoder (IRMAE) は単純で決定論的であり、コンパクトな潜在空間を学習する。 いくつかの画像生成および表現学習タスクにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-10-01T20:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。