論文の概要: A dynamical systems based framework for dimension reduction
- arxiv url: http://arxiv.org/abs/2204.08155v1
- Date: Mon, 18 Apr 2022 04:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 23:05:40.375576
- Title: A dynamical systems based framework for dimension reduction
- Title（参考訳）: 次元減少のための力学系に基づく枠組み
- Authors: Ryeongkyung Yoon and Braxton Osting
- Abstract要約: 本稿では,非線形力学系に基づく低次元データ表現の学習フレームワークを提案する。
DDRモデルでは、各点は低次元部分空間への非線形フローによって進化する。
勾配に基づく最適化手法を用いてDDR法をどのように訓練するかを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel framework for learning a low-dimensional representation of
data based on nonlinear dynamical systems, which we call dynamical dimension
reduction (DDR). In the DDR model, each point is evolved via a nonlinear flow
towards a lower-dimensional subspace; the projection onto the subspace gives
the low-dimensional embedding. Training the model involves identifying the
nonlinear flow and the subspace. Following the equation discovery method, we
represent the vector field that defines the flow using a linear combination of
dictionary elements, where each element is a pre-specified linear/nonlinear
candidate function. A regularization term for the average total kinetic energy
is also introduced and motivated by optimal transport theory. We prove that the
resulting optimization problem is well-posed and establish several properties
of the DDR method. We also show how the DDR method can be trained using a
gradient-based optimization method, where the gradients are computed using the
adjoint method from optimal control theory. The DDR method is implemented and
compared on synthetic and example datasets to other dimension reductions
methods, including PCA, t-SNE, and Umap.
- Abstract（参考訳）: 本稿では,非線形力学系に基づく低次元データ表現を学習するための新しいフレームワークを提案し,これを動的次元還元(DDR)と呼ぶ。
ddrモデルでは、各点が低次元部分空間への非線形流れを通じて発展し、部分空間への射影は低次元埋め込みを与える。
モデルのトレーニングには非線形フローと部分空間の識別が含まれる。
方程式発見法に従い,各要素が予め規定された線形・非線形候補関数である辞書要素の線形結合を用いて流れを定義するベクトル場を表現する。
平均運動エネルギーの正規化項も導入され、最適な輸送理論によって動機付けられる。
その結果,最適化問題は十分に解決され,ddr法のいくつかの特性が確立された。
また,最適制御理論からの随伴法を用いて勾配を計算した勾配に基づく最適化法を用いて,ddr法をどのように訓練するかを示す。
DDR法は,PCA,t-SNE,Umapなど,合成データセットおよびサンプルデータセットに対して,他の次元縮小法と比較して実装・比較する。
関連論文リスト
- Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - An Orthogonal Polynomial Kernel-Based Machine Learning Model for
Differential-Algebraic Equations [0.24578723416255746]
本稿では,LS-SVR機械学習モデル,重み付き残差法,レジェンダ間の接続を確立することにより,一般DAEを演算子形式で解く新しい手法を提案する。
提案手法の有効性を評価するため,非線形システム,分数次微分,積分微分,部分DAEなど,様々なDAEシナリオを考慮したシミュレーションを行った。
論文 参考訳（メタデータ） (2024-01-25T18:37:17Z) - An Extreme Learning Machine-Based Method for Computational PDEs in
Higher Dimensions [1.2981626828414923]
本稿では,確率型ニューラルネットワークに基づく高次元偏微分方程式(PDE)の解法について述べる。
本稿では,高次元線形・非線形定常・動的PDEの数値シミュレーションを行い,その性能を実証する。
論文 参考訳（メタデータ） (2023-09-13T15:59:02Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳（メタデータ） (2021-10-24T08:57:46Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。
この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
論文 参考訳（メタデータ） (2021-08-02T13:38:09Z) - Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。
DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
論文 参考訳（メタデータ） (2021-06-14T17:19:44Z) - Nonlinear Level Set Learning for Function Approximation on Sparse Data
with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。
提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。
この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文 参考訳（メタデータ） (2021-04-29T01:54:05Z) - Joint Dimensionality Reduction for Separable Embedding Estimation [43.22422640265388]
異なるソースからのデータの低次元埋め込みは、機械学習、マルチメディア情報検索、バイオインフォマティクスにおいて重要な役割を果たす。
異なるモダリティのデータや異なる種類の実体からのデータを表す2つの特徴ベクトルに対して,線形埋め込みを共同で学習する,教師付き次元還元法を提案する。
提案手法は,他の次元減少法と比較し,遺伝子・退化関連を予測するための両線形回帰の最先端手法と比較した。
論文 参考訳（メタデータ） (2021-01-14T08:48:37Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Model Reduction and Neural Networks for Parametric PDEs [9.405458160620533]
無限次元空間間の入出力マップをデータ駆動で近似するフレームワークを開発した。
提案されたアプローチは、最近のニューラルネットワークとディープラーニングの成功に動機づけられている。
入力出力マップのクラスと、入力に対する適切な選択された確率測度について、提案手法の収束性を証明する。
論文 参考訳（メタデータ） (2020-05-07T00:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。