論文の概要: Adaptive Projected Residual Networks for Learning Parametric Maps from Sparse Data

• arxiv url: http://arxiv.org/abs/2112.07096v1
• Date: Tue, 14 Dec 2021 01:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 16:48:14.833160
• Title: Adaptive Projected Residual Networks for Learning Parametric Maps from Sparse Data
• Title（参考訳）: スパースデータからパラメトリックマップを学習するための適応的残差ネットワーク
• Authors: Thomas O'Leary-Roseberry, Xiaosong Du, Anirban Chaudhuri, Joaquim R. R. A. Martins, Karen Willcox and Omar Ghattas
• Abstract要約: 限られた訓練データから高次元パラメトリックマップを学習するための擬似サロゲートフレームワークを提案する。 これらの応用には、ベイジアン逆問題、最適実験設計、不確実性の下での最適設計と制御のような「外部ループ」問題が含まれる。
• 参考スコア（独自算出の注目度）: 5.920947681019466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a parsimonious surrogate framework for learning high dimensional parametric maps from limited training data. The need for parametric surrogates arises in many applications that require repeated queries of complex computational models. These applications include such "outer-loop" problems as Bayesian inverse problems, optimal experimental design, and optimal design and control under uncertainty, as well as real time inference and control problems. Many high dimensional parametric mappings admit low dimensional structure, which can be exploited by mapping-informed reduced bases of the inputs and outputs. Exploiting this property, we develop a framework for learning low dimensional approximations of such maps by adaptively constructing ResNet approximations between reduced bases of their inputs and output. Motivated by recent approximation theory for ResNets as discretizations of control flows, we prove a universal approximation property of our proposed adaptive projected ResNet framework, which motivates a related iterative algorithm for the ResNet construction. This strategy represents a confluence of the approximation theory and the algorithm since both make use of sequentially minimizing flows. In numerical examples we show that these parsimonious, mapping-informed architectures are able to achieve remarkably high accuracy given few training data, making them a desirable surrogate strategy to be implemented for minimal computational investment in training data generation.
• Abstract（参考訳）: 限られた訓練データから高次元パラメトリックマップを学習するための擬似サロゲートフレームワークを提案する。 パラメトリックサロゲートの必要性は、複雑な計算モデルの繰り返しクエリを必要とする多くのアプリケーションで生じる。 これらの応用には、ベイズ逆問題、最適実験設計、不確実性下での最適設計と制御、リアルタイム推論と制御問題などの「外ループ」問題が含まれる。 多くの高次元パラメトリック写像は低次元構造を許容しており、入力と出力のマッピングに不備な縮小基数を活用できる。 そこで我々は,ResNet近似を適応的に構築することにより,これらのマップの低次元近似を学習するフレームワークを開発した。 制御フローの離散化としてのresnetの最近の近似理論に動機づけられ、提案する適応射影resnetフレームワークの普遍近似特性を証明し、resnet構築のための関連する反復アルゴリズムを動機付ける。 この戦略は, 逐次最小化フローを利用するため, 近似理論とアルゴリズムの相同性を表す。 数値的な例では、これらの類似したマッピングインフォームドアーキテクチャは、トレーニングデータが少ないと驚くほど高い精度を達成できることを示し、トレーニングデータ生成に最小限の計算投資を行うために実装すべきサロゲート戦略であることを示す。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Optimal Transportation by Orthogonal Coupling Dynamics [0.0]
  本稿では,プロジェクション型勾配勾配法に基づくモンゲ・カントロビッチ問題に対処する新しい枠組みを提案する。 マイクロダイナミクスは条件付き期待の概念に基づいて構築され、そこでは意見力学との関係を探求する。 提案手法は,計算性能がよいランダムマップを復元できることを実証する。
  論文  参考訳（メタデータ） (2024-10-10T15:53:48Z)
• Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
  長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。 本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。 ネットワークのトレーニングには,非標準勾配降下法を適用した。
  論文  参考訳（メタデータ） (2023-12-15T18:20:25Z)
• Adaptive operator learning for infinite-dimensional Bayesian inverse problems [7.716833952167609]
  本研究では,局所的に精度の高いサロゲートを強制することによって,モデリングエラーを段階的に低減できる適応型演算子学習フレームワークを開発した。 UKIフレームワークを用いて線形の場合において厳密な収束を保証する。 その結果,逆精度を維持しながら計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2023-10-27T01:50:33Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Straightening Out the Straight-Through Estimator: Overcoming Optimization Challenges in Vector Quantized Networks [35.6604960300194]
  本研究は,ベクトル量子化を用いたニューラルネットワークのストレートスルー推定による学習課題について検討する。 トレーニング不安定の主な原因は,モデル埋め込みとコードベクトル分布の相違である。 この問題に寄与する要因として,コードブックの勾配幅やコミットメント損失の非対称性などを挙げる。
  論文  参考訳（メタデータ） (2023-05-15T17:56:36Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• De-homogenization using Convolutional Neural Networks [1.0323063834827415]
  本稿では,構造コンプライアンス最小化のための深層学習に基づく非均質化手法を提案する。 パラメータの適切な選択のために、非均質化設計は、均質化に基づく解の7-25%以内で実行される。
  論文  参考訳（メタデータ） (2021-05-10T09:50:06Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。