論文の概要: Efficient and provably convergent end-to-end training of deep neural networks with linear constraints

• arxiv url: http://arxiv.org/abs/2605.11526v1
• Date: Tue, 12 May 2026 04:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.587125
• Title: Efficient and provably convergent end-to-end training of deep neural networks with linear constraints
• Title（参考訳）: 線形制約付きディープニューラルネットワークの効率的かつ確実なエンドツーエンドトレーニング
• Authors: Zonglin Yang, Zhexuan Gu, Yancheng Yuan,
• Abstract要約: プロジェクション層に効率よく計算可能なHS-ヤコビアンを導入する。 HS-ヤコビアンが射影作用素の多面体集合への保守写像であることを証明する。 我々は、線形に制約されたディープニューラルネットワークをトレーニングするためのHS-JacobianベースのAdamアルゴリズムの収束保証を確立する。
• 参考スコア（独自算出の注目度）: 12.559930224041544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a deep neural network with the outputs of selected layers satisfying linear constraints is required in many contemporary data-driven applications. While this can be achieved by incorporating projection layers into the neural network, its end-to-end training remains challenging due to the lack of rigorous theory and efficient algorithms for backpropagation. A key difficulty in developing the theory and efficient algorithms for backpropagation arose from the nonsmoothness of the solution mapping of the projection layer. To address this bottleneck, we introduce an efficiently computable HS-Jacobian to the projection layer. Importantly, we prove that the HS-Jacobian is a conservative mapping for the projection operator onto the polyhedral set, enabling its seamless integration into the nonsmooth automatic differentiation framework for backpropagation. Therefore, many efficient algorithms, such as Adam, can be applied for end-to-end training of deep neural networks with linear constraints. Particularly, we establish convergence guarantees of the HS-Jacobian based Adam algorithm for training linearly constrained deep neural networks. Extensive experiment results on several important applications, including finance, computer vision, and network architecture design, demonstrate the superior performance of our method compared to other existing popular methods.
• Abstract（参考訳）: 多くの現代のデータ駆動アプリケーションでは、線形制約を満たす選択されたレイヤの出力でディープニューラルネットワークをトレーニングする必要がある。 これは、ニューラルネットワークにプロジェクション層を組み込むことで実現できるが、厳密な理論とバックプロパゲーションのための効率的なアルゴリズムが欠如しているため、エンドツーエンドのトレーニングは難しいままである。 バックプロパゲーションの理論と効率的なアルゴリズムを開発する上で重要な困難は、射影層の解写像の非滑らかさから生じる。 このボトルネックに対処するために、プロジェクション層に効率的に計算可能なHS-ヤコビアンを導入する。 重要なことは、HS-ヤコビアンが射影作用素の多面体集合への保守的な写像であることを証明し、非滑らかな自動微分フレームワークへのシームレスな統合を可能にする。 したがって、Adamのような多くの効率的なアルゴリズムは、線形制約のあるディープニューラルネットワークのエンドツーエンドのトレーニングに適用することができる。 特に,線形に制約されたディープニューラルネットワークをトレーニングするためのHS-JacobianベースのAdamアルゴリズムの収束保証を確立する。 ファイナンス,コンピュータビジョン,ネットワークアーキテクチャ設計など,いくつかの重要なアプリケーションに対する大規模な実験結果から,既存の一般的な手法と比較して,提案手法の優れた性能を実証した。

関連論文リスト

• Self-Abstraction Learning for Effective and Stable Training of Deep Neural Networks [1.787702109751332]
  様々な分野にわたってディープラーニングを適用するためには、大規模ディープニューラルネットワークを効果的かつ安定的にトレーニングすることが不可欠である。 これらの制限を克服するために、階層的なフレームワークである自己抽象化学習(SAL)を導入します。 SALでは、ネットワークは構造的な複雑さによって配置され、最も単純な最上層ネットワークはまず訓練され、その隠蔽層と出力層は、下記のより複雑なネットワークのガイダンスとして機能する。
  論文  参考訳（メタデータ） (2026-04-27T11:04:18Z)
• Coordinate Encoding on Linear Grids for Physics-Informed Neural Networks [0.12277343096128708]
  線形グリッドセル上に座標符号化層を備えたPINN方式を提案する。 提案手法は, グリッドセルを用いて局所領域を分離することにより, トレーニング収束速度を向上する。 これにより、軸非依存の線形グリッドセルを使用することで、全体的な計算コストを削減できる。
  論文  参考訳（メタデータ） (2026-03-24T01:45:46Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• The Integrated Forward-Forward Algorithm: Integrating Forward-Forward and Shallow Backpropagation With Local Losses [0.0]
  本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。 Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-05-22T12:10:47Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。