Fugu-MT 論文翻訳(概要): High-dimensional Asymptotics of Denoising Autoencoders

論文の概要: High-dimensional Asymptotics of Denoising Autoencoders

arxiv url: http://arxiv.org/abs/2305.11041v1
Date: Thu, 18 May 2023 15:35:11 GMT
ステータス: 処理完了
システム内更新日: 2023-05-19 14:28:10.951202
Title: High-dimensional Asymptotics of Denoising Autoencoders
Title（参考訳）: 消音オートエンコーダの高次元漸近性
Authors: Hugo Cui, Lenka Zdeborov\'a
Abstract要約: 重み付けされた2層非線形オートエンコーダとスキップ接続を用いてガウス混合体からデータをデノベートする問題に対処する。平均二乗検定誤差を判定するためのクローズドフォーム式を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We address the problem of denoising data from a Gaussian mixture using a two-layer non-linear autoencoder with tied weights and a skip connection. We consider the high-dimensional limit where the number of training samples and the input dimension jointly tend to infinity while the number of hidden units remains bounded. We provide closed-form expressions for the denoising mean-squared test error. Building on this result, we quantitatively characterize the advantage of the considered architecture over the autoencoder without the skip connection that relates closely to principal component analysis. We further show that our results accurately capture the learning curves on a range of real data sets.
Abstract（参考訳）: 重み付けされた2層非線形オートエンコーダとスキップ接続を用いてガウス混合体からデータをノイズ化する問題に対処する。トレーニングサンプル数と入力次元が連立する高次元限界は、隠れた単位の数が有界である間は無限大となる傾向がある。発声平均二乗テスト誤差に対するクローズドフォーム表現を提供する。この結果に基づいて,主成分分析に密接に関連するスキップ接続を伴わないオートエンコーダに対するアーキテクチャの利点を定量的に評価する。さらに,本研究の結果から,実際のデータセットの学習曲線を正確に把握できることが示唆された。

関連論文リスト

Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文参考訳（メタデータ） (2024-02-07T16:32:29Z)
Gappy local conformal auto-encoders for heterogeneous data fusion: in praise of rigidity [6.1152340690876095]
本稿では,このタスクのためのマルチオートエンコーダニューラルネットワークアーキテクチャの形で,エンドツーエンドの計算パイプラインを提案する。パイプラインへの入力はいくつかの部分的な観測の集合であり、その結果は全世界的に一貫した潜在空間となり、すべての測定を調和させる(剛性化、融合)。簡単な2次元データセットから始まり、Wi-Fiのローカライゼーション問題へと進む。
論文参考訳（メタデータ） (2023-12-20T16:18:51Z)
Fighting over-fitting with quantization for learning deep neural networks on noisy labels [7.09232719022402]
両問題に一度に対処できる圧縮法について検討する。我々は、ニューラルネットワークの表現性を制限することによって、量子化を意識したトレーニングが正規化として振る舞うことを仮定する。
論文参考訳（メタデータ） (2023-03-21T12:36:58Z)
Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文参考訳（メタデータ） (2022-12-27T12:37:34Z)
DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness [78.98998551326812]
従来の手法では、データの時系列ダイナミクスと、異なるセンサーの特徴の関連性の両方をめったに利用していない、と我々は主張する。我々はDynImpと呼ばれるモデルを提案し、特徴軸に沿って近接する隣人と異なる時間点の欠如を扱う。本手法は, 関連センサのマルチモーダル性特性を活かし, 履歴時系列のダイナミックスから学習し, 極端に欠落した状態でデータを再構築することができることを示す。
論文参考訳（メタデータ） (2022-09-26T21:59:14Z)
Deep Double Descent via Smooth Interpolation [2.141079906482723]
我々は、各トレーニングポイントに局所的な入力変数に対する損失ランドスケープw.r.t.を研究することにより、トレーニングデータの適合性の鋭さを定量化する。以上の結果から,入力空間における損失のシャープネスは,モデル・アンド・エポシカルな2重降下に追随することが明らかとなった。小さな補間モデルはクリーンデータとノイズデータの両方に強く適合するが、大きな補間モデルは既存の直観とは対照的にスムーズなロスランドスケープを表現している。
論文参考訳（メタデータ） (2022-09-21T02:46:13Z)
Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
論文参考訳（メタデータ） (2021-11-08T18:59:23Z)
Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
論文参考訳（メタデータ） (2021-09-18T14:51:24Z)
Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文参考訳（メタデータ） (2021-05-25T02:17:56Z)
Reconstruction of Sparse Signals under Gaussian Noise and Saturation [1.9873949136858349]
ほとんどの圧縮センシングアルゴリズムは、ノイズのある圧縮測定における飽和の影響を考慮していない。本稿では,信号と飽和度の測定値との整合性を確保するためのデータ忠実度関数を提案する。
論文参考訳（メタデータ） (2021-02-08T03:01:46Z)
Correlation-aware Deep Generative Model for Unsupervised Anomaly Detection [9.578395294627057]
教師なし異常検出は、高度に複雑で非構造的なデータから異常なサンプルを特定することを目的としている。本稿では,Deep Gaussian Mixture Model (CADGMM) を用いた教師なし異常検出手法を提案する。実世界のデータセットを用いた実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2020-02-18T03:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。