論文の概要: Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems
- arxiv url: http://arxiv.org/abs/2310.15690v2
- Date: Tue, 9 Jul 2024 02:19:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 00:21:19.288159
- Title: Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems
- Title（参考訳）: 関数近似と物理インフォームド逆問題に対するパワー強化残差ネットワーク
- Authors: Amir Noorizadegan, D. L. Young, Y. C. Hon, C. S. Chen,
- Abstract要約: 本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。
2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。
その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we investigate how the updating of weights during forward operation and the computation of gradients during backpropagation impact the optimization process, training procedure, and overall performance of the neural network, particularly the multi-layer perceptrons (MLPs). This paper introduces a novel neural network structure called the Power-Enhancing residual network, inspired by highway network and residual network, designed to improve the network's capabilities for both smooth and non-smooth functions approximation in 2D and 3D settings. By incorporating power terms into residual elements, the architecture enhances the stability of weight updating, thereby facilitating better convergence and accuracy. The study explores network depth, width, and optimization methods, showing the architecture's adaptability and performance advantages. Consistently, the results emphasize the exceptional accuracy of the proposed Power-Enhancing residual network, particularly for non-smooth functions. Real-world examples also confirm its superiority over plain neural network in terms of accuracy, convergence, and efficiency. Moreover, the proposed architecture is also applied to solving the inverse Burgers' equation, demonstrating superior performance. In conclusion, the Power-Enhancing residual network offers a versatile solution that significantly enhances neural network capabilities by emphasizing the importance of stable weight updates for effective training in deep neural networks. The codes implemented are available at: \url{https://github.com/CMMAi/ResNet_for_PINN}.
- Abstract（参考訳）: 本研究では,前処理時の重みの更新と後処理時の勾配の計算が,ニューラルネットワーク,特に多層パーセプトロン(MLP)の最適化プロセス,トレーニング手順,全体的な性能に与える影響について検討した。
本稿では,2次元および3次元設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善するために,ハイウェイネットワークと残差ネットワークにインスパイアされた,パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。
電力項を残留元素に組み込むことで、このアーキテクチャは重量更新の安定性を高め、より収束と精度を向上させる。
本研究は,ネットワーク深さ,幅,最適化手法について検討し,アーキテクチャの適応性と性能上の優位性を示す。
対照的に、この結果は、特に非滑らか関数に対して提案されたパワーエンハンシング残差ネットワークの例外的精度を強調している。
実世界の例では、正確性、収束性、効率性の点で、普通のニューラルネットワークよりも優れていることも確認されている。
さらに、提案アーキテクチャは逆バーガー方程式の解法にも適用され、優れた性能を示す。
結論として、Power-Enhancing残余ネットワークは、ディープニューラルネットワークにおける効果的なトレーニングのための安定したウェイト更新の重要性を強調することで、ニューラルネットワーク能力を大幅に向上する汎用的なソリューションを提供する。
実装されたコードは以下の通りである。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Stable Weight Updating: A Key to Reliable PDE Solutions Using Deep Learning [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)の安定性と精度の向上を目的とした,新しい残差ベースアーキテクチャを提案する。
このアーキテクチャは、残りの接続を組み込むことで従来のニューラルネットワークを強化し、よりスムーズなウェイト更新を可能にし、バックプロパゲーション効率を向上させる。
特にSquared Residual Networkは、従来のニューラルネットワークと比較して安定性と精度の向上を実現し、堅牢なパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-07-10T05:20:43Z) - RepAct: The Re-parameterizable Adaptive Activation Function [31.238011686165596]
RepActは、エッジデバイスの計算制限内で軽量ニューラルネットワークを最適化するための適応アクティベーション関数である。
画像分類や物体検出などのタスクで評価すると、RepActは従来のアクティベーション機能を上回った。
論文 参考訳（メタデータ） (2024-06-28T08:25:45Z) - Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。
本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
論文 参考訳（メタデータ） (2024-06-03T07:44:37Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna
Tuning [60.94661435297309]
モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。
本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。
シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
論文 参考訳（メタデータ） (2023-01-20T17:06:34Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳（メタデータ） (2022-10-31T16:13:15Z) - Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity
Utilization [8.661269034961679]
本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法を提案する。
提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。
再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。
論文 参考訳（メタデータ） (2021-02-13T06:19:45Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。