論文の概要: Recovery of Linear Components: Reduced Complexity Autoencoder Designs
- arxiv url: http://arxiv.org/abs/2012.07543v1
- Date: Mon, 14 Dec 2020 14:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 14:25:04.144314
- Title: Recovery of Linear Components: Reduced Complexity Autoencoder Designs
- Title（参考訳）: リニアコンポーネントのリカバリ:複雑度自動エンコーダ設計の削減
- Authors: Federico Zocco and Se\'an McLoone
- Abstract要約: 本論文では,線形・非線形次元低減技術の中間点となる線形成分の回収(Recovery of Linear Components, RLC)という手法を提案する。
合成および実世界のケーススタディの助けを借りて,類似した複雑性を持つオートエンコーダと比較すると,rlcは高い精度を示し,頑健性と過剰適合性,より高速なトレーニング時間を示すことを示した。
- 参考スコア（独自算出の注目度）: 0.951828574518325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reducing dimensionality is a key preprocessing step in many data analysis
applications to address the negative effects of the curse of dimensionality and
collinearity on model performance and computational complexity, to denoise the
data or to reduce storage requirements. Moreover, in many applications it is
desirable to reduce the input dimensions by choosing a subset of variables that
best represents the entire set without any a priori information available.
Unsupervised variable selection techniques provide a solution to this second
problem. An autoencoder, if properly regularized, can solve both unsupervised
dimensionality reduction and variable selection, but the training of large
neural networks can be prohibitive in time sensitive applications. We present
an approach called Recovery of Linear Components (RLC), which serves as a
middle ground between linear and non-linear dimensionality reduction
techniques, reducing autoencoder training times while enhancing performance
over purely linear techniques. With the aid of synthetic and real world case
studies, we show that the RLC, when compared with an autoencoder of similar
complexity, shows higher accuracy, similar robustness to overfitting, and
faster training times. Additionally, at the cost of a relatively small increase
in computational complexity, RLC is shown to outperform the current
state-of-the-art for a semiconductor manufacturing wafer measurement site
optimization application.
- Abstract（参考訳）: 次元の削減は、多くのデータ解析アプリケーションにおける重要な前処理ステップであり、モデルの性能と計算複雑性に対する次元の呪いとコリニア性の悪影響に対処する。
さらに、多くのアプリケーションでは、利用可能な事前情報なしでセット全体を最も表現する変数のサブセットを選択することで、入力次元を減らすことが望ましい。
教師なし変数選択技術はこの2つ目の問題に対する解決策を提供する。
オートエンコーダは、適切に正規化されていれば、教師なし次元の縮小と変数の選択の両方を解決できるが、時間に敏感なアプリケーションでは、大きなニューラルネットワークのトレーニングは禁止される。
本稿では,線形および非線形次元削減手法の中間地点として機能する線形成分の回収(Recovery of Linear Components, RLC)という手法を提案する。
合成および実世界のケーススタディの助けを借りて、RCCは、類似した複雑さのオートエンコーダと比較すると、高い精度、過度な適合に対するロバスト性、より高速なトレーニング時間を示す。
さらに、計算複雑性が比較的小さくなると、RLCは半導体製造用ウエハ測定サイト最適化アプリケーションにおいて、現在の状態よりも優れることを示した。
関連論文リスト
- Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。
本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。
ネットワークのトレーニングには,非標準勾配降下法を適用した。
論文 参考訳（メタデータ） (2023-12-15T18:20:25Z) - CORE: Common Random Reconstruction for Distributed Optimization with
Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。
本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文 参考訳（メタデータ） (2023-09-23T08:45:27Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A
Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。
浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。
これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文 参考訳（メタデータ） (2022-10-10T19:50:37Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm
of spatio-temporal data [4.996878640124385]
大規模・パラメトリック・時空間データに対してメッシュに依存しない低ランクな表現を可能にする,NIF(Neural Implicit Flow)と呼ばれる汎用フレームワークを提案する。
NIFは、2つの修正された多層パーセプトロン(i)ShapeNetで構成されており、これは空間的複雑さ(i)ShapeNetを分離し、表現し、パラメトリック依存関係、時間、センサー測定を含む他の入力測定を考慮に入れている。
パラメトリックサロゲートモデリングにおけるNIFの有用性を実証し、複雑な時空間力学の解釈可能な表現と圧縮を可能にし、多空間時空間の効率的な一般化を実現し、スパースの性能を改善した。
論文 参考訳（メタデータ） (2022-04-07T05:02:58Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳（メタデータ） (2021-05-17T17:22:07Z) - Reservoir Based Edge Training on RF Data To Deliver Intelligent and
Efficient IoT Spectrum Sensors [0.6451914896767135]
本稿では,コンパクトなモバイルデバイス上での汎用機械学習アルゴリズムをサポートする処理アーキテクチャを提案する。
Deep Delay Loop Reservoir Computing (DLR)は、Stand-of-the-Art (SoA)と比較して、フォームファクタ、ハードウェアの複雑さ、レイテンシを低減します。
状態ベクトルを線形に結合した複数の小さなループからなるDLRアーキテクチャを、リッジ回帰に対する低次元入力を生成する。
論文 参考訳（メタデータ） (2021-04-01T20:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。