論文の概要: Layer Separation Deep Learning Model with Auxiliary Variables for Partial Differential Equations

• arxiv url: http://arxiv.org/abs/2507.12766v1
• Date: Thu, 17 Jul 2025 03:43:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.333542
• Title: Layer Separation Deep Learning Model with Auxiliary Variables for Partial Differential Equations
• Title（参考訳）: 部分微分方程式に対する補助変数を用いた層分離深層学習モデル
• Authors: Yaru Liu, Yiqi Gu,
• Abstract要約: 本稿では,部分方程式の深層学習に基づく手法を改善するために,階層分離モデル(LySep)を提案する。 損失最小化と解誤差低減におけるLySepの利点を理論的に示す。
• 参考スコア（独自算出の注目度）: 0.6215404942415159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a new optimization framework, the layer separation (LySep) model, to improve the deep learning-based methods in solving partial differential equations. Due to the highly non-convex nature of the loss function in deep learning, existing optimization algorithms often converge to suboptimal local minima or suffer from gradient explosion or vanishing, resulting in poor performance. To address these issues, we introduce auxiliary variables to separate the layers of deep neural networks. Specifically, the output and its derivatives of each layer are represented by auxiliary variables, effectively decomposing the deep architecture into a series of shallow architectures. New loss functions with auxiliary variables are established, in which only variables from two neighboring layers are coupled. Corresponding algorithms based on alternating directions are developed, where many variables can be updated optimally in closed forms. Moreover, we provide theoretical analyses demonstrating the consistency between the LySep model and the original deep model. High-dimensional numerical results validate our theory and demonstrate the advantages of LySep in minimizing loss and reducing solution error.
• Abstract（参考訳）: 本稿では、偏微分方程式の解法におけるディープラーニングに基づく手法を改善するために、新しい最適化フレームワーク、層分離(LySep)モデルを提案する。 ディープラーニングにおける損失関数の非凸性のため、既存の最適化アルゴリズムはしばしば最適な局所最小値に収束するか、勾配の爆発や消滅に悩まされ、性能が低下する。 これらの問題に対処するために、ディープニューラルネットワークの層を分離する補助変数を導入する。 具体的には、各層の出力とそのデリバティブは補助変数で表され、ディープアーキテクチャを一連の浅いアーキテクチャに事実上分解する。 補助変数を持つ新しい損失関数が確立され、2つの隣接する層からのみ変数が結合される。 交互方向に基づく対応アルゴリズムが開発され、多くの変数を閉じた形で最適に更新することができる。 さらに,LySepモデルと元の深部モデルとの整合性を示す理論的解析を行った。 高次元数値計算により、LySepの損失最小化と解誤差低減における利点を検証した。

関連論文リスト

• Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables [20.09691024284159]
  本稿では,ニューラルネットワークや物理インフォームドネットワークによる学習のための新しいフレームワークを開発する。 私たちのフレームワークの堅牢性は、新しい損失が元の問題を最適化するのに役立ちます。
  論文  参考訳（メタデータ） (2025-04-30T10:43:13Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• A consistent and flexible framework for deep matrix factorizations [17.49766938060264]
  本稿では,深部MFに対して有意義な2つの損失関数を導入し,対応する最適化問題を解くための汎用フレームワークを提案する。 これらのモデルは、合成データと実データの両方、すなわちハイパースペクトルアンミックスと顔の特徴抽出にうまく適用されている。
  論文  参考訳（メタデータ） (2022-06-21T19:20:35Z)
• Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
  乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。 後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。 シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
  論文  参考訳（メタデータ） (2021-12-14T15:25:07Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。