論文の概要: Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2307.07344v1
• Date: Fri, 14 Jul 2023 13:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 13:54:06.970744
• Title: Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks
• Title（参考訳）: 逆進化層:ディープニューラルネットワークのための物理インフォームド正規化器
• Authors: Chaoyu Liu, Zhonghua Qiao, Chao Li and Carola-Bibiane Sch\"onlieb
• Abstract要約: 進化方程式に基づく逆進化層(IEL)を提案する。 IELは簡単に構築および実装でき、様々な物理的進化やニューラルネットワークのために容易に設計できる。 熱拡散型IELは,ノイズラベルによる過度適合問題を効果的に軽減できることを示す。
• 参考スコア（独自算出の注目度）: 5.1680226874942985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel approach to integrating partial differential equation (PDE)-based evolution models into neural networks through a new type of regularization. Specifically, we propose inverse evolution layers (IELs) based on evolution equations. These layers can achieve specific regularization objectives and endow neural networks' outputs with corresponding properties of the evolution models. Moreover, IELs are straightforward to construct and implement, and can be easily designed for various physical evolutions and neural networks. Additionally, the design process for these layers can provide neural networks with intuitive and mathematical interpretability, thus enhancing the transparency and explainability of the approach. To demonstrate the effectiveness, efficiency, and simplicity of our approach, we present an example of endowing semantic segmentation models with the smoothness property based on the heat diffusion model. To achieve this goal, we design heat-diffusion IELs and apply them to address the challenge of semantic segmentation with noisy labels. The experimental results demonstrate that the heat-diffusion IELs can effectively mitigate the overfitting problem caused by noisy labels.
• Abstract（参考訳）: 本稿では, 偏微分方程式(PDE)に基づく進化モデルをニューラル・ネットワークに統合するための新しい手法を提案する。 具体的には、進化方程式に基づく逆進化層(IEL)を提案する。 これらの層は特定の正規化目標を達成し、ニューラルネットワークの出力に進化モデルの特性を付与することができる。 さらに、IELは簡単に構築および実装でき、様々な物理的進化やニューラルネットワークのために容易に設計できる。 さらに、これらのレイヤの設計プロセスは、直感的かつ数学的解釈性を備えたニューラルネットワークを提供し、アプローチの透明性と説明可能性を高めることができる。 提案手法の有効性, 効率性, 簡易性を示すため, 熱拡散モデルに基づく滑らかさ特性を有する内在的意味セグメンテーションモデルの例を示す。 この目的を達成するために、熱拡散IELを設計し、ノイズラベルを用いたセマンティックセグメンテーションの課題に対処する。 実験の結果, 熱拡散ielはノイズラベルによる過給問題を効果的に軽減できることがわかった。

関連論文リスト

• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks [11.110435047801506]
  本稿では, 分散保存アグリゲーション関数 (VPA) を提案する。 その結果, 正常化フリー, 自己正規化GNNへの道を開くことができた。
  論文  参考訳（メタデータ） (2024-03-07T18:52:27Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Physics-informed attention-based neural network for solving non-linear partial differential equations [6.103365780339364]
  物理情報ニューラルネットワーク(PINN)は、物理プロセスのモデリングにおいて大幅な改善を実現しました。 PINNは単純なアーキテクチャに基づいており、ネットワークパラメータを最適化することで複雑な物理システムの振る舞いを学習し、基礎となるPDEの残余を最小限に抑える。 ここでは、非線形PDEの複雑な振る舞いを学ぶのに、どのネットワークアーキテクチャが最適かという問題に対処する。
  論文  参考訳（メタデータ） (2021-05-17T14:29:08Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)
• Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism [1.6114012813668932]
  非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。 そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-07T04:07:52Z)
• Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
  我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。 ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
  論文  参考訳（メタデータ） (2020-07-08T21:23:19Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• GAIT-prop: A biologically plausible learning rule derived from backpropagation of error [9.948484577581796]
  バックプロパゲーションとターゲット伝搬の修正形態の正確な対応を示す。 一連のコンピュータビジョン実験において,バックプロパゲーションとGAIT-propのほぼ同一性能を示す。
  論文  参考訳（メタデータ） (2020-06-11T13:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。