論文の概要: Learning Low-dimensional Latent Dynamics from High-dimensional Observations: Non-asymptotics and Lower Bounds

• arxiv url: http://arxiv.org/abs/2405.06089v1
• Date: Thu, 9 May 2024 20:30:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 17:16:40.238824
• Title: Learning Low-dimensional Latent Dynamics from High-dimensional Observations: Non-asymptotics and Lower Bounds
• Title（参考訳）: 高次元観測から低次元潜在ダイナミクスを学習する:非漸近と下界
• Authors: Yuyang Zhang, Shahriar Talebi, Na Li,
• Abstract要約: 我々は,低次元潜在変数を持つ線形時間不変モデル(LTI)の学習に焦点をあてるが,高次元観測は行わない。 我々は,観測者の列空間のような高次元の特徴を復元し,データを低次元に埋め込み,低次元モデルパラメータを学習するアルゴリズムを提案する。 その後、メタデータセットからLTIシステムの学習を容易にするエンド・ツー・エンドのアルゴリズムが提案される。
• 参考スコア（独自算出の注目度）: 7.154936191995907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we focus on learning a linear time-invariant (LTI) model with low-dimensional latent variables but high-dimensional observations. We provide an algorithm that recovers the high-dimensional features, i.e. column space of the observer, embeds the data into low dimensions and learns the low-dimensional model parameters. Our algorithm enjoys a sample complexity guarantee of order $\tilde{\mathcal{O}}(n/\epsilon^2)$, where $n$ is the observation dimension. We further establish a fundamental lower bound indicating this complexity bound is optimal up to logarithmic factors and dimension-independent constants. We show that this inevitable linear factor of $n$ is due to the learning error of the observer's column space in the presence of high-dimensional noise. Extending our results, we consider a meta-learning problem inspired by various real-world applications, where the observer column space can be collectively learned from datasets of multiple LTI systems. An end-to-end algorithm is then proposed, facilitating learning LTI systems from a meta-dataset which breaks the sample complexity lower bound in certain scenarios.
• Abstract（参考訳）: 本稿では,低次元潜在変数を持つ線形時間不変モデル(LTI)の学習に焦点をあてる。 我々は,観測者の列空間のような高次元の特徴を復元し,データを低次元に埋め込み,低次元モデルパラメータを学習するアルゴリズムを提案する。 我々のアルゴリズムは、次数$\tilde{\mathcal{O}}(n/\epsilon^2)$のサンプル複雑性を保証する。 さらに、この複雑性境界が対数係数と次元非依存定数に最適であることを示す基本的な下界を確立する。 この避けられない$n$の線形係数は、高次元ノイズの存在下で観測者の列空間の学習誤差に起因する。 結果を拡張して,複数のLTIシステムのデータセットからオブザーバ列空間を総合的に学習する,様々な実世界のアプリケーションから着想を得たメタラーニング問題を考える。 その後、サンプルの複雑性を低下させるメタデータセットからLTIシステムの学習を容易にするエンド・ツー・エンドのアルゴリズムが提案される。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Scalable manifold learning by uniform landmark sampling and constrained locally linear embedding [0.6144680854063939]
  本研究では,大規模・高次元データを効率的に操作できるスケーラブルな多様体学習法を提案する。 異なるタイプの合成データセットと実世界のベンチマークにおけるSCMLの有効性を実証的に検証した。 scMLはデータサイズや埋め込み次元の増大とともにスケールし、グローバル構造を保存する上で有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-01-02T08:43:06Z)
• Linearly-scalable learning of smooth low-dimensional patterns with permutation-aided entropic dimension reduction [0.0]
  多くのデータサイエンス応用において、高次元データセットから適切に順序付けられた滑らかな低次元データパターンを抽出することが目的である。 本研究では, ユークリッドの滑らか度をパターン品質基準として選択する場合, これらの問題を数値的に効率的に解けることを示す。
  論文  参考訳（メタデータ） (2023-06-17T08:03:24Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Laplacian-based Cluster-Contractive t-SNE for High Dimensional Data Visualization [20.43471678277403]
  本稿では t-SNE に基づく新しいグラフベース次元削減手法 LaptSNE を提案する。 具体的には、LaptSNEはグラフラプラシアンの固有値情報を利用して、低次元埋め込みにおけるポテンシャルクラスタを縮小する。 ラプラシアン合成目的による最適化を考える際には、より広い関心を持つであろう勾配を解析的に計算する方法を示す。
  論文  参考訳（メタデータ） (2022-07-25T14:10:24Z)
• NOMAD: Nonlinear Manifold Decoders for Operator Learning [17.812064311297117]
  関数空間における教師付き学習は、機械学習研究の新たな領域である。 関数空間における非線形部分多様体の有限次元表現を学習できる非線形デコーダマップを備えた新しい演算子学習フレームワークであるNOMADについて述べる。
  論文  参考訳（メタデータ） (2022-06-07T19:52:44Z)
• Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
  そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。 提案手法の有効性を検証し,数値実験による理論的研究を検証する。
  論文  参考訳（メタデータ） (2022-01-26T22:26:01Z)
• Data-Driven Reduced-Order Modeling of Spatiotemporal Chaos with Neural Ordinary Differential Equations [0.0]
  本稿では,偏微分方程式のカオス力学を生かしたデータ駆動型還元次数モデリング手法を提案する。 次元の減少は周囲空間の予測と比較して性能を向上することがわかった。 低次元モデルでは、広い空間データに対する真の力学の短・長期統計レクリエーションに優れる。
  論文  参考訳（メタデータ） (2021-08-31T20:00:33Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Learning to Guide Random Search [111.71167792453473]
  我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。 最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。 本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
  論文  参考訳（メタデータ） (2020-04-25T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。