論文の概要: Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2307.07344v2
• Date: Mon, 1 Jul 2024 14:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 18:09:56.559422
• Title: Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks
• Title（参考訳）: 逆進化層:ディープニューラルネットワークのための物理インフォームド正規化器
• Authors: Chaoyu Liu, Zhonghua Qiao, Chao Li, Carola-Bibiane Schönlieb,
• Abstract要約: 本稿では,PDEに基づく進化モデルの逆過程にインスパイアされた新しい正規化手法を提案する。 出力が望ましくない特性を持つニューラルネットワークをペナルタイズするために,不適切な特性増幅器として機能する逆進化層(IEL)を提案する。 熱拡散IELを用いたセマンティックセグメンテーションタスクに着目し,ノイズラベル効果の軽減効果を実証した。
• 参考スコア（独自算出の注目度）: 11.636467804950911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional image processing methods employing partial differential equations (PDEs) offer a multitude of meaningful regularizers, along with valuable theoretical foundations for a wide range of image-related tasks. This makes their integration into neural networks a promising avenue. In this paper, we introduce a novel regularization approach inspired by the reverse process of PDE-based evolution models. Specifically, we propose inverse evolution layers (IELs), which serve as bad property amplifiers to penalize neural networks of which outputs have undesired characteristics. Using IELs, one can achieve specific regularization objectives and endow neural networks' outputs with corresponding properties of the PDE models. Our experiments, focusing on semantic segmentation tasks using heat-diffusion IELs, demonstrate their effectiveness in mitigating noisy label effects. Additionally, we develop curve-motion IELs to enforce convex shape regularization in neural network-based segmentation models for preventing the generation of concave outputs. Theoretical analysis confirms the efficacy of IELs as an effective regularization mechanism, particularly in handling training with label issues.
• Abstract（参考訳）: 偏微分方程式(PDE)を用いた従来の画像処理手法は、多くの有意義な正則化器と、幅広い画像関連タスクのための重要な理論的基礎を提供する。 これにより、ニューラルネットワークへの統合は有望な道のりとなる。 本稿では,PDEに基づく進化モデルの逆過程にインスパイアされた新しい正規化手法を提案する。 具体的には、出力が望ましくない特性を持つニューラルネットワークをペナライズするために、不適切な特性増幅器として機能する逆進化層(IEL)を提案する。 IELを使うことで、特定の正規化目標を達成することができ、PDEモデルの対応する特性でニューラルネットワークの出力を達成できる。 熱拡散IELを用いたセマンティックセグメンテーションタスクに着目し,ノイズラベル効果の軽減効果を実証した。 さらに,輪郭出力の発生を防止するために,ニューラルネットワークに基づくセグメント化モデルにおいて凸形状正則化を強制する曲線運動IELを開発した。 理論的解析により、IELが効果的な正則化機構として有効であること、特にラベル問題に対するトレーニングの扱いについて確認される。

関連論文リスト

• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks [11.110435047801506]
  本稿では, 分散保存アグリゲーション関数 (VPA) を提案する。 その結果, 正常化フリー, 自己正規化GNNへの道を開くことができた。
  論文  参考訳（メタデータ） (2024-03-07T18:52:27Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Physics-informed attention-based neural network for solving non-linear partial differential equations [6.103365780339364]
  物理情報ニューラルネットワーク(PINN)は、物理プロセスのモデリングにおいて大幅な改善を実現しました。 PINNは単純なアーキテクチャに基づいており、ネットワークパラメータを最適化することで複雑な物理システムの振る舞いを学習し、基礎となるPDEの残余を最小限に抑える。 ここでは、非線形PDEの複雑な振る舞いを学ぶのに、どのネットワークアーキテクチャが最適かという問題に対処する。
  論文  参考訳（メタデータ） (2021-05-17T14:29:08Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)
• Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism [1.6114012813668932]
  非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。 そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-07T04:07:52Z)
• Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
  我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。 ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
  論文  参考訳（メタデータ） (2020-07-08T21:23:19Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• GAIT-prop: A biologically plausible learning rule derived from backpropagation of error [9.948484577581796]
  バックプロパゲーションとターゲット伝搬の修正形態の正確な対応を示す。 一連のコンピュータビジョン実験において,バックプロパゲーションとGAIT-propのほぼ同一性能を示す。
  論文  参考訳（メタデータ） (2020-06-11T13:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。