論文の概要: Sparsifying dimensionality reduction of PDE solution data with Bregman learning

• arxiv url: http://arxiv.org/abs/2406.12672v1
• Date: Tue, 18 Jun 2024 14:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:28:51.137133
• Title: Sparsifying dimensionality reduction of PDE solution data with Bregman learning
• Title（参考訳）: Bregman学習によるPDEソリューションデータのスポーザライズ次元削減
• Authors: Tjeerd Jan Heeringa, Christoph Brune, Mengwu Guo,
• Abstract要約: 本稿では,エンコーダ・デコーダネットワークにおいて,パラメータ数を効果的に削減し,潜在空間を圧縮する多段階アルゴリズムを提案する。 従来のAdamのようなトレーニング手法と比較して、提案手法はパラメータが30%少なく、潜在空間が著しく小さいため、同様の精度が得られる。
• 参考スコア（独自算出の注目度）: 1.2016264781280588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical model reduction techniques project the governing equations onto a linear subspace of the original state space. More recent data-driven techniques use neural networks to enable nonlinear projections. Whilst those often enable stronger compression, they may have redundant parameters and lead to suboptimal latent dimensionality. To overcome these, we propose a multistep algorithm that induces sparsity in the encoder-decoder networks for effective reduction in the number of parameters and additional compression of the latent space. This algorithm starts with sparsely initialized a network and training it using linearized Bregman iterations. These iterations have been very successful in computer vision and compressed sensing tasks, but have not yet been used for reduced-order modelling. After the training, we further compress the latent space dimensionality by using a form of proper orthogonal decomposition. Last, we use a bias propagation technique to change the induced sparsity into an effective reduction of parameters. We apply this algorithm to three representative PDE models: 1D diffusion, 1D advection, and 2D reaction-diffusion. Compared to conventional training methods like Adam, the proposed method achieves similar accuracy with 30% less parameters and a significantly smaller latent space.
• Abstract（参考訳）: 古典的モデル還元技術は、支配方程式を元の状態空間の線型部分空間に投影する。 近年のデータ駆動技術は非線形投影を可能にするためにニューラルネットワークを使用している。 これらはしばしばより強い圧縮を可能にするが、冗長なパラメータを持ち、最適下限次元に繋がる。 そこで本研究では,エンコーダ・デコーダネットワークにおいて,パラメータ数を効果的に削減し,潜在空間を圧縮する多段階アルゴリズムを提案する。 このアルゴリズムは、わずかに初期化されたネットワークから始まり、線形化されたブレグマン反復を用いてそれを訓練する。 これらのイテレーションはコンピュータビジョンと圧縮されたセンシングタスクで非常に成功したが、まだ低次モデリングには使われていない。 訓練後, 正規直交分解の形式を用いて, 潜時空間次元をさらに圧縮する。 最後に、バイアス伝搬法を用いて、誘導された空間を効果的にパラメータの還元に変換する。 本アルゴリズムは, 3種類のPDEモデル, 1次元拡散, 1次元対流, 2次元反応拡散に適用する。 従来のAdamのようなトレーニング手法と比較して、提案手法はパラメータが30%少なく、潜在空間が著しく小さいため、同様の精度が得られる。

関連論文リスト

• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• An Extreme Learning Machine-Based Method for Computational PDEs in Higher Dimensions [1.2981626828414923]
  本稿では,確率型ニューラルネットワークに基づく高次元偏微分方程式(PDE)の解法について述べる。 本稿では,高次元線形・非線形定常・動的PDEの数値シミュレーションを行い,その性能を実証する。
  論文  参考訳（メタデータ） (2023-09-13T15:59:02Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Facilitate the Parametric Dimension Reduction by Gradient Clipping [1.9671123873378715]
  我々は、ニューラルネットワークのトレーニングにより、非パラメトリックからパラメトリックへ、よく知られた次元削減手法であるt分散隣接埋め込み(t-SNE)を拡張した。 本手法は, 一般化を楽しみながら, 非パラメトリックt-SNEと互換性のある埋め込み品質を実現する。
  論文  参考訳（メタデータ） (2020-09-30T01:21:22Z)
• Effective Version Space Reduction for Convolutional Neural Networks [61.84773892603885]
  アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。 本稿では,畳み込みニューラルネットワークを用いた能動学習について,バージョン空間削減の原理的レンズを用いて検討する。
  論文  参考訳（メタデータ） (2020-06-22T17:40:03Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。