論文の概要: Optimal Transport-inspired Deep Learning Framework for Slow-Decaying
Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel
- arxiv url: http://arxiv.org/abs/2308.13840v1
- Date: Sat, 26 Aug 2023 10:24:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 18:36:24.436799
- Title: Optimal Transport-inspired Deep Learning Framework for Slow-Decaying
Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel
- Title（参考訳）: Slow-Decaying問題に対する最適輸送インスパイアされたディープラーニングフレームワーク:Sinkhorn LossとWasserstein Kernelの爆発
- Authors: Moaad Khamlich and Federico Pichi and Gianluigi Rozza
- Abstract要約: 還元次数モデル(ROM)は、高次元システムに対処するために科学計算で広く使われている。
最適輸送理論とニューラルネットワークに基づく手法を統合した新しいROMフレームワークを提案する。
我々のフレームワークは、精度と計算効率の点で従来のROM手法より優れています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reduced order models (ROMs) are widely used in scientific computing to tackle
high-dimensional systems. However, traditional ROM methods may only partially
capture the intrinsic geometric characteristics of the data. These
characteristics encompass the underlying structure, relationships, and
essential features crucial for accurate modeling.
To overcome this limitation, we propose a novel ROM framework that integrates
optimal transport (OT) theory and neural network-based methods. Specifically,
we investigate the Kernel Proper Orthogonal Decomposition (kPOD) method
exploiting the Wasserstein distance as the custom kernel, and we efficiently
train the resulting neural network (NN) employing the Sinkhorn algorithm. By
leveraging an OT-based nonlinear reduction, the presented framework can capture
the geometric structure of the data, which is crucial for accurate learning of
the reduced solution manifold. When compared with traditional metrics such as
mean squared error or cross-entropy, exploiting the Sinkhorn divergence as the
loss function enhances stability during training, robustness against
overfitting and noise, and accelerates convergence.
To showcase the approach's effectiveness, we conduct experiments on a set of
challenging test cases exhibiting a slow decay of the Kolmogorov n-width. The
results show that our framework outperforms traditional ROM methods in terms of
accuracy and computational efficiency.
- Abstract（参考訳）: 減位モデル(ROM)は、高次元システムに取り組むために科学計算で広く使われている。
しかし、従来のROM法はデータ固有の幾何学的特徴を部分的に捉えているだけである。
これらの特徴は、正確なモデリングに不可欠な構造、関係性、本質的な特徴を包含する。
この制限を克服するために、最適輸送(OT)理論とニューラルネットワークに基づく手法を統合する新しいROMフレームワークを提案する。
具体的には,カスタムカーネルとしてwasserstein距離を利用するkernel proper orthogonal decomposition (kpod)法を調査し,spinhornアルゴリズムを用いてニューラルネットワーク(nn)を効率的に学習する。
OTをベースとした非線形還元を利用して、提案フレームワークは、還元された解多様体の正確な学習に不可欠であるデータの幾何学的構造を捉えることができる。
平均二乗誤差やクロスエントロピーのような従来の指標と比較すると、損失関数がトレーニング中の安定性を高め、過フィッティングやノイズに対する堅牢性が向上し、収束が加速される。
提案手法の有効性を示すため,Kolmogorov n-widthの緩やかな崩壊を示す一連の挑戦的なテストケースの実験を行った。
その結果,従来のROM手法よりも精度と計算効率が優れていた。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳（メタデータ） (2023-10-28T06:41:47Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - Level-Set Curvature Neural Networks: A Hybrid Approach [0.0]
レベルセット法で平均曲率を計算するための深層学習に基づくハイブリッド戦略を提案する。
提案手法は,改良回帰モデルの辞書と標準数値スキームを組み合わせて,曲率をより正確に推定する。
機械学習は、レベルセット手法の数値的欠点に対する実行可能な解決策を考案する有望な場であることを確認した。
論文 参考訳（メタデータ） (2021-04-07T06:51:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Physics Informed Deep Kernel Learning [24.033468062984458]
物理インフォームドディープカーネル学習(PI-DKL)は、遅延源を持つ微分方程式で表される物理知識を利用する。
効率的かつ効果的な推論のために、潜伏変数を疎外し、崩壊したモデルエビデンスローバウンド(ELBO)を導出する。
論文 参考訳（メタデータ） (2020-06-08T22:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。