論文の概要: Deep Autoencoder with SVD-Like Convergence and Flat Minima

• arxiv url: http://arxiv.org/abs/2410.18148v1
• Date: Wed, 23 Oct 2024 00:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:52:02.951980
• Title: Deep Autoencoder with SVD-Like Convergence and Flat Minima
• Title（参考訳）: SVDライクな収束とフラットミニマを用いたディープオートエンコーダ
• Authors: Nithin Somasekharan, Shaowu Pan,
• Abstract要約: 我々は,コルモゴロフ障壁を克服するために,学習可能な重み付きハイブリッドオートエンコーダを提案する。 トレーニングされたモデルは、他のモデルに比べて何千倍もシャープさが小さいことを実証的に見出した。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License:
• Abstract: Representation learning for high-dimensional, complex physical systems aims to identify a low-dimensional intrinsic latent space, which is crucial for reduced-order modeling and modal analysis. To overcome the well-known Kolmogorov barrier, deep autoencoders (AEs) have been introduced in recent years, but they often suffer from poor convergence behavior as the rank of the latent space increases. To address this issue, we propose the learnable weighted hybrid autoencoder, a hybrid approach that combines the strengths of singular value decomposition (SVD) with deep autoencoders through a learnable weighted framework. We find that the introduction of learnable weighting parameters is essential - without them, the resulting model would either collapse into a standard POD or fail to exhibit the desired convergence behavior. Additionally, we empirically find that our trained model has a sharpness thousands of times smaller compared to other models. Our experiments on classical chaotic PDE systems, including the 1D Kuramoto-Sivashinsky and forced isotropic turbulence datasets, demonstrate that our approach significantly improves generalization performance compared to several competing methods, paving the way for robust representation learning of high-dimensional, complex physical systems.
• Abstract（参考訳）: 高次元複雑な物理系の表現学習は、低次元固有の潜在空間を同定することを目的としており、これは低次モデリングやモーダル解析に不可欠である。 良く知られたコルモゴロフ障壁を克服するために、近年、ディープオートエンコーダ (AE) が導入されたが、潜伏空間のランクが増加するにつれて、収束性の悪い振る舞いに悩まされることが多い。 この問題を解決するために,学習可能な重み付きフレームワークを用いて,特異値分解(SVD)の強みと深い自己エンコーダを組み合わせるハイブリッド手法である学習可能な重み付きハイブリッドオートエンコーダを提案する。 学習可能な重み付けパラメータの導入は必須であり、それらがなければ、結果として得られるモデルは標準のPODに崩壊するか、あるいは望ましい収束動作を示すことができない。 さらに、トレーニングされたモデルは、他のモデルに比べて何千倍もシャープさが小さいことを実証的に見出した。 1次元倉本-シヴァシンスキーおよび強制等方性乱流データセットを含む古典的カオスPDEシステムに関する実験により,本手法は,高次元複雑な物理系の堅牢な表現学習の道を開くとともに,いくつかの競合手法と比較して,一般化性能を著しく向上させることを示した。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Exploiting the Layered Intrinsic Dimensionality of Deep Models for Practical Adversarial Training [31.495803865226158]
  対人訓練(AT)は、2つの主要な理由から実践的なAIシステムに展開されることはめったにない。 ATはビジョンモデルにおける一般化の減少をもたらすが、エンコーダベースの言語モデルでは一般化は改善されるか変化しない。 SMAATは標準的なATに比べて25～33%のGPU時間しか必要とせず、全アプリケーションにおけるロバスト性は著しく向上している。
  論文  参考訳（メタデータ） (2024-05-27T12:48:30Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Low-dimensional Data-based Surrogate Model of a Continuum-mechanical Musculoskeletal System Based on Non-intrusive Model Order Reduction [0.0]
  データ駆動型モデルオーダーリダクションを用いた代理モデルのような従来の手法は、高忠実度モデルをより広く利用するために用いられる。 ヒト上腕部の複素有限要素モデルに対する代理モデル手法の利点を実証する。
  論文  参考訳（メタデータ） (2023-02-13T17:14:34Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Data-driven Control of Agent-based Models: an Equation/Variable-free Machine Learning Approach [0.0]
  複雑/マルチスケールシステムの集合力学を制御するための方程式/変数自由機械学習(EVFML)フレームワークを提案する。 提案手法は3段階からなる: (A) 高次元エージェントベースシミュレーション、機械学習(特に非線形多様体学習(DM)) 創発力学の数値分岐解析を行うために方程式のない手法を用いる。 我々は,エージェントをベースとしたシミュレータを本質的で不正確に知られ,創発的なオープンループ定常状態に駆動する,データ駆動型組込み洗浄制御器を設計する。
  論文  参考訳（メタデータ） (2022-07-12T18:16:22Z)
• Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
  本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。 精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-25T20:46:08Z)
• Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders [22.54887526392739]
  本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。 提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
  論文  参考訳（メタデータ） (2020-10-07T15:04:20Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。