論文の概要: Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2307.07344v1
- Date: Fri, 14 Jul 2023 13:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 13:54:06.970744
- Title: Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural
Networks
- Title(参考訳): 逆進化層:ディープニューラルネットワークのための物理インフォームド正規化器
- Authors: Chaoyu Liu, Zhonghua Qiao, Chao Li and Carola-Bibiane Sch\"onlieb
- Abstract要約: 進化方程式に基づく逆進化層(IEL)を提案する。
IELは簡単に構築および実装でき、様々な物理的進化やニューラルネットワークのために容易に設計できる。
熱拡散型IELは,ノイズラベルによる過度適合問題を効果的に軽減できることを示す。
- 参考スコア(独自算出の注目度): 5.1680226874942985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel approach to integrating partial differential
equation (PDE)-based evolution models into neural networks through a new type
of regularization. Specifically, we propose inverse evolution layers (IELs)
based on evolution equations. These layers can achieve specific regularization
objectives and endow neural networks' outputs with corresponding properties of
the evolution models. Moreover, IELs are straightforward to construct and
implement, and can be easily designed for various physical evolutions and
neural networks. Additionally, the design process for these layers can provide
neural networks with intuitive and mathematical interpretability, thus
enhancing the transparency and explainability of the approach. To demonstrate
the effectiveness, efficiency, and simplicity of our approach, we present an
example of endowing semantic segmentation models with the smoothness property
based on the heat diffusion model. To achieve this goal, we design
heat-diffusion IELs and apply them to address the challenge of semantic
segmentation with noisy labels. The experimental results demonstrate that the
heat-diffusion IELs can effectively mitigate the overfitting problem caused by
noisy labels.
- Abstract(参考訳): 本稿では, 偏微分方程式(PDE)に基づく進化モデルをニューラル・ネットワークに統合するための新しい手法を提案する。
具体的には、進化方程式に基づく逆進化層(IEL)を提案する。
これらの層は特定の正規化目標を達成し、ニューラルネットワークの出力に進化モデルの特性を付与することができる。
さらに、IELは簡単に構築および実装でき、様々な物理的進化やニューラルネットワークのために容易に設計できる。
さらに、これらのレイヤの設計プロセスは、直感的かつ数学的解釈性を備えたニューラルネットワークを提供し、アプローチの透明性と説明可能性を高めることができる。
提案手法の有効性, 効率性, 簡易性を示すため, 熱拡散モデルに基づく滑らかさ特性を有する内在的意味セグメンテーションモデルの例を示す。
この目的を達成するために、熱拡散IELを設計し、ノイズラベルを用いたセマンティックセグメンテーションの課題に対処する。
実験の結果, 熱拡散ielはノイズラベルによる過給問題を効果的に軽減できることがわかった。
関連論文リスト
- Self Expanding Convolutional Neural Networks [1.4330085996657045]
本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。
我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
論文 参考訳(メタデータ) (2024-01-11T06:22:40Z) - Protein Design with Guided Discrete Diffusion [67.06148688398677]
タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。
離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。
NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
論文 参考訳(メタデータ) (2023-05-31T16:31:24Z) - Spatial Attention Kinetic Networks with E(n)-Equivariance [0.951828574518325]
回転、翻訳、反射、n次元幾何学空間上の置換と等価なニューラルネットワークは、物理モデリングにおいて有望であることを示している。
本稿では, エッジベクトルの線形結合をニューラルネットワークでパラメトリケートし, 等価性を実現するための, 簡易な代替関数形式を提案する。
E(n)-等価性を持つ空間的注意運動ネットワーク(SAKE)を設計する。
論文 参考訳(メタデータ) (2023-01-21T05:14:29Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Designing Rotationally Invariant Neural Networks from PDEs and
Variational Methods [8.660429288575367]
拡散モデルと変動モデルが回転不変性をどのように達成し、これらのアイデアをニューラルネットワークに転送するかを検討する。
本稿では,複数の指向フィルタからの情報を組み合わせることで,ネットワークチャネルを結合するアクティベーション機能を提案する。
本研究は,拡散モデルと変分モデルを数学的に精細なネットワークアーキテクチャに変換し,モデルベースCNN設計のための新しい概念を提供するのに役立つ。
論文 参考訳(メタデータ) (2021-08-31T17:34:40Z) - E(n) Equivariant Graph Neural Networks [86.75170631724548]
本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。
既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
論文 参考訳(メタデータ) (2021-02-19T10:25:33Z) - ScalingNet: extracting features from raw EEG data for emotion
recognition [4.047737925426405]
生の脳波信号から効果的なデータ駆動スペクトログラムのような特徴を適応的に抽出できる新しい畳み込み層を提案する。
スケーリング層に基づくニューラルネットワークアーキテクチャであるScalingNetは、確立されたDEAPベンチマークデータセット全体で最先端の結果を達成した。
論文 参考訳(メタデータ) (2021-02-07T08:54:27Z) - Learning Variational Data Assimilation Models and Solvers [34.22350850350653]
データ同化のためのエンドツーエンドニューラルネットワークアーキテクチャを導入する。
提案するエンドツーエンド学習アーキテクチャの重要な特徴は、教師なし戦略と教師なし戦略の両方を用いてNNモデルをトレーニングできることである。
論文 参考訳(メタデータ) (2020-07-25T14:28:48Z) - Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid
Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。
ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文 参考訳(メタデータ) (2020-07-08T21:23:19Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。