論文の概要: Reduced order modeling with Barlow Twins self-supervised learning:
Navigating the space between linear and nonlinear solution manifolds
- arxiv url: http://arxiv.org/abs/2202.05460v1
- Date: Fri, 11 Feb 2022 05:41:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 05:05:07.915970
- Title: Reduced order modeling with Barlow Twins self-supervised learning:
Navigating the space between linear and nonlinear solution manifolds
- Title（参考訳）: Barlow Twins自己教師付き学習による低次モデリング:線型および非線形解多様体間の空間のナビゲート
- Authors: Teeratorn Kadeethum, Francesco Ballarin, Daniel O'Malley, Youngsoo
Choi, Nikolaos Bouklas, Hongkyu Yoon
- Abstract要約: 提案するフレームワークは、オートエンコーダ(AE)とBarlow Twins(BT)の自己教師型学習の組み合わせに依存している。
線形および非線形多様体のアプローチ間の性能ギャップを橋渡しする統一データ駆動型縮小順序モデル(ROM)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a unified data-driven reduced order model (ROM) that bridges the
performance gap between linear and nonlinear manifold approaches. Deep learning
ROM (DL-ROM) using deep-convolutional autoencoders (DC-AE) has been shown to
capture nonlinear solution manifolds but fails to perform adequately when
linear subspace approaches such as proper orthogonal decomposition (POD) would
be optimal. Besides, most DL-ROM models rely on convolutional layers, which
might limit its application to only a structured mesh. The proposed framework
in this study relies on the combination of an autoencoder (AE) and Barlow Twins
(BT) self-supervised learning, where BT maximizes the information content of
the embedding with the latent space through a joint embedding architecture.
Through a series of benchmark problems of natural convection in porous media,
BT-AE performs better than the previous DL-ROM framework by providing
comparable results to POD-based approaches for problems where the solution lies
within a linear subspace as well as DL-ROM autoencoder-based techniques where
the solution lies on a nonlinear manifold; consequently, bridges the gap
between linear and nonlinear reduced manifolds. Furthermore, this BT-AE
framework can operate on unstructured meshes, which provides flexibility in its
application to standard numerical solvers, on-site measurements, experimental
data, or a combination of these sources.
- Abstract（参考訳）: 線形および非線形多様体のアプローチ間の性能ギャップを橋渡しする統一データ駆動還元順序モデル(ROM)を提案する。
ディープ・コンボリューショナル・オートエンコーダ(DC-AE)を用いた深層学習ROM(DL-ROM)は非線形解多様体を捕捉することが示されているが、適切な直交分解(POD)のような線形部分空間アプローチが最適である場合、適切に動作しない。
さらに、ほとんどのDL-ROMモデルは畳み込み層に依存しており、そのアプリケーションは構造化メッシュのみに制限される可能性がある。
本研究では,自動エンコーダ (AE) とバーロウ・ツインズ (BT) による自己教師型学習を併用し,BT は共同埋め込みアーキテクチャを用いて潜伏空間への埋め込みの情報を最大化する手法を提案する。
多孔質媒質中の自然対流に関する一連のベンチマーク問題を通じて、BT-AEは、線形部分空間内にある問題に対するPODベースのアプローチと、その解が非線形多様体上にあるDL-ROMオートエンコーダベースの技術に匹敵する結果を与えることにより、従来のDL-ROMフレームワークよりも優れた性能を発揮する。
さらに、BT-AEフレームワークは非構造化メッシュ上で動作可能であり、標準的な数値ソルバ、オンサイト計測、実験データ、これらのソースの組み合わせに対する柔軟性を提供する。
関連論文リスト
- Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。
この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文 参考訳（メタデータ） (2024-11-26T15:35:44Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Exploiting Temporal Structures of Cyclostationary Signals for
Data-Driven Single-Channel Source Separation [98.95383921866096]
単一チャネルソース分離(SCSS)の問題点について検討する。
我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。
本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
論文 参考訳（メタデータ） (2022-08-22T14:04:56Z) - Non-linear manifold ROM with Convolutional Autoencoders and Reduced
Over-Collocation method [0.0]
非アフィンパラメトリックな依存、非線形性、興味のモデルにおける対流支配的な規則は、ゆっくりとしたコルモゴロフ n-幅の崩壊をもたらす。
我々は,Carlbergらによって導入された非線形多様体法を,オーバーコロケーションの削減とデコーダの教師/学生による学習により実現した。
本研究では,2次元非線形保存法と2次元浅水モデルを用いて方法論を検証し,時間とともに動的に進化する純粋データ駆動型手法と長期記憶ネットワークとの比較を行った。
論文 参考訳（メタデータ） (2022-03-01T11:16:50Z) - Deep-HyROMnet: A deep learning-based operator approximation for
hyper-reduction of nonlinear parametrized PDEs [0.0]
ディープニューラルネットワーク(DNN)を用いた非線形ROM演算子学習手法を提案する。
DNNによって強化された結果の超還元順序モデルはDeep-HyROMnetと呼ばれる。
数値計算の結果,Deep-HyROMnetsはPOD-GalerkinDEIMsよりも桁違いに高速であり,精度は同等であることがわかった。
論文 参考訳（メタデータ） (2022-02-05T23:45:25Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳（メタデータ） (2021-06-20T04:28:20Z) - Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。
本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。
その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
論文 参考訳（メタデータ） (2021-05-25T14:12:04Z) - POD-DL-ROM: enhancing deep learning-based reduced order models for
nonlinear parametrized PDEs by proper orthogonal decomposition [0.0]
深層学習に基づく還元順序モデル(DL-ROM)は,従来の還元順序モデル(ROM)で共有される共通制限を克服するために最近提案されている。
本稿では, DL-ROMの高価なトレーニング段階を回避するために, (i) PODによる事前次元化を行い, (ii) 多要素事前学習段階に依存する方法を提案する。
提案したPOD-DL-ROMは、複数の(スカラーおよびベクトル、線形および非線形の両方)時間依存パラメタライズPDEで試験される。
論文 参考訳（メタデータ） (2021-01-28T07:34:15Z) - ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework
for LiDAR Point Cloud Segmentation [111.56730703473411]
LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。
シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。
ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
論文 参考訳（メタデータ） (2020-09-07T23:46:08Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z) - A comprehensive deep learning-based approach to reduced order modeling
of nonlinear time-dependent parametrized PDEs [0.0]
線形および非線形時間依存パラメタライズPDEのためのDL-ROMを構築する方法を示す。
数値的な結果は、PDE解多様体の内在次元と次元が等しいDL-ROMがパラメタライズされたPDEの解を近似できることを示している。
論文 参考訳（メタデータ） (2020-01-12T21:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。