論文の概要: PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low
Data Regimes
- arxiv url: http://arxiv.org/abs/2205.11673v1
- Date: Mon, 23 May 2022 23:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 12:55:42.654205
- Title: PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low
Data Regimes
- Title（参考訳）: 低データレジームにおける非線形次元化のためのPCAブーストオートエンコーダ
- Authors: Muhammad Al-Digeil, Yuri Grinberg, Daniele Melati3, Mohsen Kamandar
Dezfouli, Jens H. Schmid, Pavel Cheben, Siegfried Janz, and Dan-Xia Xu
- Abstract要約: そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。
まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
- 参考スコア（独自算出の注目度）: 0.2925461470287228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoencoders (AE) provide a useful method for nonlinear dimensionality
reduction but are ill-suited for low data regimes. Conversely, Principal
Component Analysis (PCA) is data-efficient but is limited to linear
dimensionality reduction, posing a problem when data exhibits inherent
nonlinearity. This presents a challenge in various scientific and engineering
domains such as the nanophotonic component design, where data exhibits
nonlinear features while being expensive to obtain due to costly real
measurements or resource-consuming solutions of partial differential equations.
To address this difficulty, we propose a technique that harnesses the best of
both worlds: an autoencoder that leverages PCA to perform well on scarce
nonlinear data. Specifically, we outline a numerically robust PCA-based
initialization of AE, which, together with the parameterized ReLU activation
function, allows the training process to start from an exact PCA solution and
improve upon it. A synthetic example is presented first to study the effects of
data nonlinearity and size on the performance of the proposed method. We then
evaluate our method on several nanophotonic component design problems where
obtaining useful data is expensive. To demonstrate universality, we also apply
it to tasks in other scientific domains: a benchmark breast cancer dataset and
a gene expression dataset.
We show that our proposed approach is substantially better than both PCA and
randomly initialized AE in the majority of low-data regime cases we consider,
or at least is comparable to the best of either of the other two methods.
- Abstract（参考訳）: オートエンコーダ (AE) は非線形次元減少のための有用な方法であるが、低データ状態には不適である。
逆に、主成分分析(PCA)はデータ効率であるが、線形次元の減少に制限されており、データが固有の非線形性を示す場合に問題を引き起こす。
これはナノフォトニック・コンポーネントの設計のような様々な科学・工学分野における課題であり、データはコストがかかる実測値や偏微分方程式の資源消費の解から得られる非線形特徴を示す。
この課題に対処するために,PCAを活用して少ない非線形データで良好に動作させるオートエンコーダという,両世界の長所を利用する手法を提案する。
具体的には,パラメータ化されたreluアクティベーション関数と合わせて,正確なpcaソリューションからトレーニングプロセスを起動して改善できる,数値的にロバストなaeの初期化手法について概説する。
まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
次に,有用なデータを得るのに費用がかかるいくつかのナノフォトニクス設計問題について評価する。
普遍性を示すために、他の科学領域のタスクにも適用する: 乳がんのベンチマークデータセットと遺伝子発現データセット。
提案手法は,我々が検討している低データレジームケースの大部分において,pcaとランダム初期化aeのどちらよりもかなり優れていること,あるいは少なくとも他の2つの手法のベストに匹敵することを示す。
関連論文リスト
- Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - Improved Privacy-Preserving PCA Using Optimized Homomorphic Matrix
Multiplication [0.0]
主成分分析(英: principal Component Analysis、PCA)は、機械学習とデータ分析の領域で広く利用されている重要な技術である。
近年,セキュアなクラウドコンピューティングシナリオにおいて,プライバシ保護型PCAアルゴリズムの同型暗号化を活用する取り組みが進められている。
本稿では,これらの制約に対処するプライバシー保護PCAに対して,従来の手法に比べて効率,精度,拡張性に優れる新たなアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-27T02:51:20Z) - Physics-Informed Neural Networks for Material Model Calibration from
Full-Field Displacement Data [0.0]
本研究では,実環境下でのフルフィールド変位と大域力データからモデルのキャリブレーションを行うためのPINNを提案する。
拡張PINNは、実験的な1次元データと合成フルフィールド変位データの両方から材料パラメータを識別できることを実証した。
論文 参考訳（メタデータ） (2022-12-15T11:01:32Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - A Linearly Convergent Algorithm for Distributed Principal Component
Analysis [12.91948651812873]
本稿では,1時間スケール分散pcaアルゴリズムである分散sanger's algorithm(dsa)を提案する。
提案アルゴリズムは真の解の近傍に線形収束することを示した。
論文 参考訳（メタデータ） (2021-01-05T00:51:14Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Recovery of Linear Components: Reduced Complexity Autoencoder Designs [0.951828574518325]
本論文では,線形・非線形次元低減技術の中間点となる線形成分の回収(Recovery of Linear Components, RLC)という手法を提案する。
合成および実世界のケーススタディの助けを借りて,類似した複雑性を持つオートエンコーダと比較すると,rlcは高い精度を示し,頑健性と過剰適合性,より高速なトレーニング時間を示すことを示した。
論文 参考訳（メタデータ） (2020-12-14T14:08:20Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。