論文の概要: A Dual-Dimer Method for Training Physics-Constrained Neural Networks with Minimax Architecture

• arxiv url: http://arxiv.org/abs/2005.00615v2
• Date: Fri, 1 Jan 2021 19:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 23:20:29.580070
• Title: A Dual-Dimer Method for Training Physics-Constrained Neural Networks with Minimax Architecture
• Title（参考訳）: ミニマックスアーキテクチャを用いた物理制約ニューラルネットワークの2次元学習法
• Authors: Dehao Liu, Yan Wang
• Abstract要約: ミニマックス探索アルゴリズム(PCNN-MM)による物理制約ニューラルネットワーク(PCNN)の訓練 DualDimerと呼ばれる新しいサドルポイントアルゴリズムは、ニューラルネットワークデータの高次サドルポイントを探索するために使用される。 PCNN-MMの収束重みは従来のPCNNよりも高速である。
• 参考スコア（独自算出の注目度）: 6.245537312562826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data sparsity is a common issue to train machine learning tools such as neural networks for engineering and scientific applications, where experiments and simulations are expensive. Recently physics-constrained neural networks (PCNNs) were developed to reduce the required amount of training data. However, the weights of different losses from data and physical constraints are adjusted empirically in PCNNs. In this paper, a new physics-constrained neural network with the minimax architecture (PCNN-MM) is proposed so that the weights of different losses can be adjusted systematically. The training of the PCNN-MM is searching the high-order saddle points of the objective function. A novel saddle point search algorithm called Dual-Dimer method is developed. It is demonstrated that the Dual-Dimer method is computationally more efficient than the gradient descent ascent method for nonconvex-nonconcave functions and provides additional eigenvalue information to verify search results. A heat transfer example also shows that the convergence of PCNN-MMs is faster than that of traditional PCNNs.
• Abstract（参考訳）: データスパシティは、実験やシミュレーションが高価であるエンジニアリングや科学アプリケーションのためのニューラルネットワークのような機械学習ツールをトレーニングする上で、一般的な問題である。 近年,必要なトレーニングデータを減らすために,物理制約ニューラルネットワーク(PCNN)が開発された。 しかし、データと物理的制約から異なる損失の重み付けはpcnnで経験的に調整される。 本稿では,ミニマックスアーキテクチャ(PCNN-MM)を用いた新しい物理制約ニューラルネットワークを提案し,損失の重み付けを系統的に調整する。 PCNN-MMの訓練は、目的関数の高次サドル点を探索している。 Dual-Dimer法と呼ばれる新しいサドル点探索アルゴリズムを開発した。 本手法は,非凸非凸関数の勾配降下上昇法よりも計算効率が高く,検索結果の検証のための固有値情報を提供する。 熱伝達の例は、PCNN-MMsの収束が従来のPCNNよりも速いことを示している。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• RAMP-Net: A Robust Adaptive MPC for Quadrotors via Physics-informed Neural Network [6.309365332210523]
  本稿では、単純なODEとデータの一部をトレーニングしたニューラルネットワークを用いて、PINN(RAMP-Net)を介してロバスト適応MPCフレームワークを提案する。 我々は,SOTA回帰に基づく2つのMPC法と比較して,0.5～1.75m/sの追跡誤差を7.8%から43.2%,8.04%から61.5%削減した。
  論文  参考訳（メタデータ） (2022-09-19T16:11:51Z)
• Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method [0.0]
  畳み込みニューラルネットワーク(CNN)は、オブジェクト認識と検出の潜在的アプローチである。 畳み込み操作の代替として,アダマール変換に基づく新しいアプローチを示す。 この方法は、入力画像サイズよりもカーネルサイズが小さい場合、他のコンピュータビジョンタスクに役立ちます。
  論文  参考訳（メタデータ） (2022-09-06T21:36:57Z)
• Lost Vibration Test Data Recovery Using Convolutional Neural Network: A Case Study [0.0]
  本稿では,アラモサキャニオン橋のCNNアルゴリズムを実構造として提案する。 3つの異なるCNNモデルは、1つと2つの故障したセンサーを予測するものとされた。 畳み込み層を追加することによりモデルの精度が向上した。
  論文  参考訳（メタデータ） (2022-04-11T23:24:03Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)
• Transfer learning based multi-fidelity physics informed deep neural network [0.0]
  支配微分方程式は、近似的な意味では知られていないか、知られているかのどちらかである。 本稿では,深部ニューラルネットワーク(MF-PIDNN)を用いた多要素物理について述べる。 MF-PIDNNは、転送学習の概念を用いて、物理情報とデータ駆動型ディープラーニング技術をブレンドする。
  論文  参考訳（メタデータ） (2020-05-19T13:57:48Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。