論文の概要: Optimal Transport-inspired Deep Learning Framework for Slow-Decaying Kolmogorov n-width Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel

• arxiv url: http://arxiv.org/abs/2308.13840v2
• Date: Fri, 10 Jan 2025 09:30:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:24:12.653024
• Title: Optimal Transport-inspired Deep Learning Framework for Slow-Decaying Kolmogorov n-width Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel
• Title（参考訳）: Slow-Decaying Kolmogorov n-width問題に対する最適輸送インスパイアされたディープラーニングフレームワーク:Sinkhorn損失とWassersteinカーネルの爆発
• Authors: Moaad Khamlich, Federico Pichi, Gianluigi Rozza,
• Abstract要約: 還元次数モデル(ROM)は、高次元システムに対処するために科学計算で広く使われている。 最適輸送理論とニューラルネットワークに基づく手法を統合した新しいROMフレームワークを提案する。 我々のフレームワークは、精度と計算効率の点で従来のROM手法より優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Reduced order models (ROMs) are widely used in scientific computing to tackle high-dimensional systems. However, traditional ROM methods may only partially capture the intrinsic geometric characteristics of the data. These characteristics encompass the underlying structure, relationships, and essential features crucial for accurate modeling. To overcome this limitation, we propose a novel ROM framework that integrates optimal transport (OT) theory and neural network-based methods. Specifically, we investigate the Kernel Proper Orthogonal Decomposition (kPOD) method exploiting the Wasserstein distance as the custom kernel, and we efficiently train the resulting neural network (NN) employing the Sinkhorn algorithm. By leveraging an OT-based nonlinear reduction, the presented framework can capture the geometric structure of the data, which is crucial for accurate learning of the reduced solution manifold. When compared with traditional metrics such as mean squared error or cross-entropy, exploiting the Sinkhorn divergence as the loss function enhances stability during training, robustness against overfitting and noise, and accelerates convergence. To showcase the approach's effectiveness, we conduct experiments on a set of challenging test cases exhibiting a slow decay of the Kolmogorov n-width. The results show that our framework outperforms traditional ROM methods in terms of accuracy and computational efficiency.
• Abstract（参考訳）: 還元次数モデル(ROM)は、高次元システムに対処するために科学計算で広く使われている。 しかし、従来のROM法はデータ固有の幾何学的特徴を部分的に捉えているだけである。 これらの特徴は、基礎となる構造、関係、そして正確なモデリングに不可欠な特徴を含んでいる。 この制限を克服するために、最適輸送(OT)理論とニューラルネットワークに基づく手法を統合する新しいROMフレームワークを提案する。 具体的には、Wasserstein距離をカスタムカーネルとして活用したKernel Proper Orthogonal Decomposition(kPOD)法について検討し、Sinkhornアルゴリズムを用いて結果のニューラルネットワーク(NN)を効率的に訓練する。 OTをベースとした非線形還元を利用して、提案するフレームワークは、還元された解多様体の正確な学習に欠かせない、データの幾何学的構造を捉えることができる。 平均二乗誤差やクロスエントロピーといった従来の指標と比較すると、損失関数がトレーニング中の安定性を高め、過度なフィットやノイズに対する堅牢性を高め、収束を加速するため、シンクホーンの発散を利用する。 提案手法の有効性を示すため,Kolmogorov n-widthの緩やかな崩壊を示す一連の挑戦的なテストケースの実験を行った。 その結果,従来のROM手法よりも精度と計算効率が優れていた。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
  提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。 大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T14:30:06Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
  ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。 新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。 モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
  論文  参考訳（メタデータ） (2022-01-14T06:42:42Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Level-Set Curvature Neural Networks: A Hybrid Approach [0.0]
  レベルセット法で平均曲率を計算するための深層学習に基づくハイブリッド戦略を提案する。 提案手法は,改良回帰モデルの辞書と標準数値スキームを組み合わせて,曲率をより正確に推定する。 機械学習は、レベルセット手法の数値的欠点に対する実行可能な解決策を考案する有望な場であることを確認した。
  論文  参考訳（メタデータ） (2021-04-07T06:51:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Physics Informed Deep Kernel Learning [24.033468062984458]
  物理インフォームドディープカーネル学習(PI-DKL)は、遅延源を持つ微分方程式で表される物理知識を利用する。 効率的かつ効果的な推論のために、潜伏変数を疎外し、崩壊したモデルエビデンスローバウンド(ELBO)を導出する。
  論文  参考訳（メタデータ） (2020-06-08T22:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。