論文の概要: Deep-layer limit and stability analysis of the basic forward-backward-splitting induced network (II): learning problems

• arxiv url: http://arxiv.org/abs/2605.27133v1
• Date: Tue, 26 May 2026 15:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.289331
• Title: Deep-layer limit and stability analysis of the basic forward-backward-splitting induced network (II): learning problems
• Title（参考訳）: 基本前方分割型ネットワークの深層限界と安定性解析(II):学習問題
• Authors: Xuan Lin, Chunlin Wu,
• Abstract要約: 提案手法は,FBSアルゴリズムの最も基本的なアーキテクチャであるFBS誘導ネットワークについて検討する。 いくつかの軽微な仮定の下で、深層限界系の学習問題に対する基礎的FBS誘導ネットワークのトレーニング問題の一般的な収束性を確立する。
• 参考スコア（独自算出の注目度）: 6.032472530282842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep unfolding neural networks derived from iterative optimization schemes and numerical ordinary/partial differential equations (ODEs/PDEs) have attracted much attention in data science over the last decade. Therein, numerous important network architectures were constructed from the basic forward-backward-splitting (FBS) algorithm. In this paper, we continue our research on the most basic FBS-induced network, an architecture unrolled from the original FBS algorithm by incorporating direct parameter relaxations. Following the difference/differential inclusion formulations in our previous forward system analyses, we here consider some theoretical aspects of corresponding learning problems. Under some mild assumptions, we establish a general convergence property of the training problem of the basic FBS-induced network to the learning problem of the deep-layer limit system, implying a $Γ$-convergence argument showing that any cluster point of the optimal learning parameters for the network is a solution to the learning problem of the deep-layer limit system. A qualitative analysis of perturbation stabilities of these learning problems is also presented. A simple numerical experiment is conducted to validate our main general convergence result.
• Abstract（参考訳）: 反復最適化スキームと数値常微分方程式(ODE/PDE)から導かれる深い展開ニューラルネットワークは、過去10年間にデータサイエンスに多くの注目を集めてきた。 そこで,FBSアルゴリズムを用いて,多数の重要なネットワークアーキテクチャを構築した。 本稿では, 直接パラメータ緩和を取り入れたFBSアルゴリズムから解放されたアーキテクチャであるFBS誘導型ネットワークの研究を継続する。 本稿では,前回の前向きシステム分析における差分・差分包含関係の定式化に続いて,対応する学習問題の理論的側面について考察する。 いくつかの軽微な仮定の下で、深層限界系の学習問題に対する基礎的FBS誘導ネットワークの学習問題の一般的な収束性を確立し、ネットワークの最適学習パラメータのクラスタポイントが深層極限系の学習問題の解であることを示す$$-convergenceの議論を暗示する。 また,これらの学習問題の摂動安定性の質的解析について述べる。 本研究の一般収束結果を検証するため, 簡単な数値実験を行った。

関連論文リスト

• Physics-Informed Neural Network Frameworks for the Analysis of Engineering and Biological Dynamical Systems Governed by Ordinary Differential Equations [0.0]
  PINNは、挑戦的な数値シナリオを扱うための強力なアプローチを提供する。 PINNは、物理法則を直接学習プロセスに埋め込むことで、優れた結果を得ることができる。
  論文  参考訳（メタデータ） (2025-10-28T04:00:59Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• On the regularized risk of distributionally robust learning over deep neural networks [0.0]
  本研究では, 分散ロバスト学習と正規化の異なる形態の関係について検討し, ディープニューラルネットワークのロバスト性について検討した。 私たちは、堅牢なニューラルネットワークのトレーニングのために、スケーラブルなアルゴリズムのファミリーを動機付けています。
  論文  参考訳（メタデータ） (2021-09-13T20:10:39Z)
• Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
  本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。 この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。 両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-14T10:36:25Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。