論文の概要: A dynamical systems based framework for dimension reduction
- arxiv url: http://arxiv.org/abs/2204.08155v1
- Date: Mon, 18 Apr 2022 04:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 23:05:40.375576
- Title: A dynamical systems based framework for dimension reduction
- Title（参考訳）: 次元減少のための力学系に基づく枠組み
- Authors: Ryeongkyung Yoon and Braxton Osting
- Abstract要約: 本稿では,非線形力学系に基づく低次元データ表現の学習フレームワークを提案する。
DDRモデルでは、各点は低次元部分空間への非線形フローによって進化する。
勾配に基づく最適化手法を用いてDDR法をどのように訓練するかを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel framework for learning a low-dimensional representation of
data based on nonlinear dynamical systems, which we call dynamical dimension
reduction (DDR). In the DDR model, each point is evolved via a nonlinear flow
towards a lower-dimensional subspace; the projection onto the subspace gives
the low-dimensional embedding. Training the model involves identifying the
nonlinear flow and the subspace. Following the equation discovery method, we
represent the vector field that defines the flow using a linear combination of
dictionary elements, where each element is a pre-specified linear/nonlinear
candidate function. A regularization term for the average total kinetic energy
is also introduced and motivated by optimal transport theory. We prove that the
resulting optimization problem is well-posed and establish several properties
of the DDR method. We also show how the DDR method can be trained using a
gradient-based optimization method, where the gradients are computed using the
adjoint method from optimal control theory. The DDR method is implemented and
compared on synthetic and example datasets to other dimension reductions
methods, including PCA, t-SNE, and Umap.
- Abstract（参考訳）: 本稿では,非線形力学系に基づく低次元データ表現を学習するための新しいフレームワークを提案し,これを動的次元還元(DDR)と呼ぶ。
ddrモデルでは、各点が低次元部分空間への非線形流れを通じて発展し、部分空間への射影は低次元埋め込みを与える。
モデルのトレーニングには非線形フローと部分空間の識別が含まれる。
方程式発見法に従い,各要素が予め規定された線形・非線形候補関数である辞書要素の線形結合を用いて流れを定義するベクトル場を表現する。
平均運動エネルギーの正規化項も導入され、最適な輸送理論によって動機付けられる。
その結果,最適化問題は十分に解決され,ddr法のいくつかの特性が確立された。
また,最適制御理論からの随伴法を用いて勾配を計算した勾配に基づく最適化法を用いて,ddr法をどのように訓練するかを示す。
DDR法は,PCA,t-SNE,Umapなど,合成データセットおよびサンプルデータセットに対して,他の次元縮小法と比較して実装・比較する。
関連論文リスト
- Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。
この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2025-02-11T13:10:34Z) - Go With the Flow: Fast Diffusion for Gaussian Mixture Models [13.03355083378673]
Schr"odinger Bridges (SB) は、適切なコスト関数を最小化しながら、有限時間で与えられた初期分布を他の最終状態に分配する拡散過程である。
本稿では,ある分布から別の分布へシステムをステアリングするための一組のSBポリシーの潜在メトリゼーションを提案する。
オートエンコーダの空間における画像から画像への変換のような低次元問題におけるこのアプローチの可能性を示す。
論文 参考訳（メタデータ） (2024-12-12T08:40:22Z) - Proper Latent Decomposition [4.266376725904727]
内在座標(相対空間)の減少を計算し、数値的な離散化よりも自由度が低い流れを正確に記述する。
提案手法では,多様体上でPLDを実行するアルゴリズムを提案する。
この研究は、オートエンコーダと潜在空間の分析、非線形低次モデリング、高次元データの構造に関する科学的洞察の機会を開放する。
論文 参考訳（メタデータ） (2024-12-01T12:19:08Z) - An Extreme Learning Machine-Based Method for Computational PDEs in
Higher Dimensions [1.2981626828414923]
本稿では,確率型ニューラルネットワークに基づく高次元偏微分方程式(PDE)の解法について述べる。
本稿では,高次元線形・非線形定常・動的PDEの数値シミュレーションを行い,その性能を実証する。
論文 参考訳（メタデータ） (2023-09-13T15:59:02Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳（メタデータ） (2021-10-24T08:57:46Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。
この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
論文 参考訳（メタデータ） (2021-08-02T13:38:09Z) - Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。
DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
論文 参考訳（メタデータ） (2021-06-14T17:19:44Z) - Nonlinear Level Set Learning for Function Approximation on Sparse Data
with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。
提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。
この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文 参考訳（メタデータ） (2021-04-29T01:54:05Z) - Joint Dimensionality Reduction for Separable Embedding Estimation [43.22422640265388]
異なるソースからのデータの低次元埋め込みは、機械学習、マルチメディア情報検索、バイオインフォマティクスにおいて重要な役割を果たす。
異なるモダリティのデータや異なる種類の実体からのデータを表す2つの特徴ベクトルに対して,線形埋め込みを共同で学習する,教師付き次元還元法を提案する。
提案手法は,他の次元減少法と比較し,遺伝子・退化関連を予測するための両線形回帰の最先端手法と比較した。
論文 参考訳（メタデータ） (2021-01-14T08:48:37Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。