論文の概要: Transfer Learning on Multi-Dimensional Data: A Novel Approach to Neural Network-Based Surrogate Modeling

• arxiv url: http://arxiv.org/abs/2410.12241v1
• Date: Wed, 16 Oct 2024 05:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:40:40.734873
• Title: Transfer Learning on Multi-Dimensional Data: A Novel Approach to Neural Network-Based Surrogate Modeling
• Title（参考訳）: 多次元データを用いた伝達学習:ニューラルネットワークに基づくサーロゲートモデリングの新しいアプローチ
• Authors: Adrienne M. Propp, Daniel M. Tartakovsky,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)はそのようなサロゲートモデルの基礎として人気を集めている。 本稿では,$d$次元問題と$d-1$次元近似の両方に対する数値解の混合によるCNN代理モデルのトレーニングを提案する。 転送学習を用いて,2種類のデータに対して,高密度な完全畳み込みエンコーダ・デコーダCNNを学習する多相フローテスト問題に対するアプローチを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The development of efficient surrogates of partial differential equations (PDEs) is a critical step towards scalable modeling of complex, multiscale systems-of-systems. Convolutional neural networks (CNNs) have gained popularity as the basis for such surrogate models due to their success in capturing high-dimensional input-output mappings and the negligible cost of a forward pass. However, the high cost of generating training data -- typically via classical numerical solvers -- raises the question of whether these models are worth pursuing over more straightforward alternatives with well-established theoretical foundations, such as Monte Carlo methods. To reduce the cost of data generation, we propose training a CNN surrogate model on a mixture of numerical solutions to both the $d$-dimensional problem and its ($d-1$)-dimensional approximation, taking advantage of the efficiency savings guaranteed by the curse of dimensionality. We demonstrate our approach on a multiphase flow test problem, using transfer learning to train a dense fully-convolutional encoder-decoder CNN on the two classes of data. Numerical results from a sample uncertainty quantification task demonstrate that our surrogate model outperforms Monte Carlo with several times the data generation budget.
• Abstract（参考訳）: 偏微分方程式(PDE)の効率的なサロゲートの開発は、複雑でマルチスケールなシステムのスケーラブルなモデリングへの重要なステップである。 畳み込みニューラルネットワーク(CNN)は、高次元の入出力マッピングの取得の成功と前方パスの無視可能なコストにより、そのようなサロゲートモデルの基礎として人気を集めている。 しかし、訓練データを生成する高コスト(典型的には古典的な数値解法を通して)は、モンテカルロ法のような確立された理論上の基礎を持つより単純な選択肢を追求する価値があるかどうかという問題を提起する。 データ生成コストを低減するため、次元の呪いによって保証される効率の節約を利用して、$d$次元問題と$d-1$次元近似の両方に対する数値解を混合したCNNサロゲートモデルを訓練することを提案する。 転送学習を用いて,2種類のデータに対して,高密度な完全畳み込みエンコーダ・デコーダCNNを学習する多相フローテスト問題に対するアプローチを実証する。 サンプル不確実性定量化タスクの数値結果から,我々の代理モデルがモンテカルロを数倍の予算で上回ることを示す。

関連論文リスト

• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Data efficient surrogate modeling for engineering design: Ensemble-free batch mode deep active learning for regression [0.6021787236982659]
  そこで本研究では,学生と教師の共用で,サロゲートモデルを学習するための,シンプルでスケーラブルな学習手法を提案する。 提案手法を用いることで,DBALやモンテカルロサンプリングのような他のベースラインと同レベルのサロゲート精度が得られる。
  論文  参考訳（メタデータ） (2022-11-16T02:31:57Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Hybridization of Capsule and LSTM Networks for unsupervised anomaly detection on multivariate data [0.0]
  本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。 提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
  論文  参考訳（メタデータ） (2022-02-11T10:33:53Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。