論文の概要: A Unified Framework for Lifted Training and Inversion Approaches

• arxiv url: http://arxiv.org/abs/2510.09796v1
• Date: Fri, 10 Oct 2025 19:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.628474
• Title: A Unified Framework for Lifted Training and Inversion Approaches
• Title（参考訳）: リフテッドトレーニングとインバージョンアプローチのための統一フレームワーク
• Authors: Xiaoyu Wang, Alexandra Valavanis, Azhir Mahmood, Andreas Mang, Martin Benning, Audrey Repetti,
• Abstract要約: この章では、さまざまな持ち上げトレーニング戦略をカプセル化した統合フレームワークを紹介します。 本稿では,ブロックコーディネート降下戦略を用いて,これらの手法の実装について論じる。 標準撮像タスクの数値計算結果から,昇降ブレグマン法の有効性と安定性が検証された。
• 参考スコア（独自算出の注目度）: 42.951318906669506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training of deep neural networks predominantly relies on a combination of gradient-based optimisation and back-propagation for the computation of the gradient. While incredibly successful, this approach faces challenges such as vanishing or exploding gradients, difficulties with non-smooth activations, and an inherently sequential structure that limits parallelisation. Lifted training methods offer an alternative by reformulating the nested optimisation problem into a higher-dimensional, constrained optimisation problem where the constraints are no longer enforced directly but penalised with penalty terms. This chapter introduces a unified framework that encapsulates various lifted training strategies, including the Method of Auxiliary Coordinates, Fenchel Lifted Networks, and Lifted Bregman Training, and demonstrates how diverse architectures, such as Multi-Layer Perceptrons, Residual Neural Networks, and Proximal Neural Networks fit within this structure. By leveraging tools from convex optimisation, particularly Bregman distances, the framework facilitates distributed optimisation, accommodates non-differentiable proximal activations, and can improve the conditioning of the training landscape. We discuss the implementation of these methods using block-coordinate descent strategies, including deterministic implementations enhanced by accelerated and adaptive optimisation techniques, as well as implicit stochastic gradient methods. Furthermore, we explore the application of this framework to inverse problems, detailing methodologies for both the training of specialised networks (e.g., unrolled architectures) and the stable inversion of pre-trained networks. Numerical results on standard imaging tasks validate the effectiveness and stability of the lifted Bregman approach compared to conventional training, particularly for architectures employing proximal activations.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングは主に勾配に基づく最適化と、勾配の計算のためのバックプロパゲーションの組み合わせに依存している。 このアプローチは驚くほど成功したが、消失や爆発的な勾配、非滑らかなアクティベーションの困難、並列化を制限する本質的にシーケンシャルな構造といった課題に直面している。 リフテッドトレーニング法は、ネスト最適化問題をより高次元の制約付き最適化問題に再構成することで代替手段を提供する。 この章では、補助的コーディネート、フェンシェル・リフテッド・ネットワーク、リフテッド・ブレグマン・トレーニングなど、さまざまな揚力トレーニング戦略をカプセル化する統一的なフレームワークを紹介し、マルチ層パーセプトロン、Residual Neural Networks、Pximal Neural Networksといった多様なアーキテクチャがこの構造にどのように適合するかを説明している。 凸最適化、特にブレグマン距離からツールを活用することにより、このフレームワークは分散最適化を促進し、微分不可能な近位アクティベーションを許容し、トレーニングランドスケープの条件付けを改善することができる。 本稿では,これらの手法の実装について,確率的および適応的最適化手法によって強化された決定論的実装や,暗黙的確率的勾配法など,ブロックコーディネート降下戦略を用いて論じる。 さらに,本フレームワークの逆問題への適用について検討し,特定ネットワーク(例えば,非学習型アーキテクチャ)のトレーニング手法と事前学習型ネットワークの安定的インバージョンについて詳述する。 標準撮像タスクの数値計算結果は, 従来の訓練, 特に近位アクティベーションを用いたアーキテクチャと比較して, 昇降ブレグマン法の有効性と安定性を検証した。

関連論文リスト

• Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes [3.246129789918632]
  ディープニューラルネットワークのトレーニングは本質的に非最適化問題である。 勾配降下(SGD)のような標準的なアプローチでは、パラメータを同時に更新する必要がある。 そこで本研究では,SAMTを用いた列車最小化手法を提案する。 SAMTは、最先端のメソッドに比べて、パラメータ更新が少なく、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-08-06T08:23:38Z)
• Hierarchical Feature-level Reverse Propagation for Post-Training Neural Networks [24.442592456755698]
  エンド・ツー・エンドの自動運転は支配的なパラダイムとして現れてきたが、その高度に絡み合ったブラックボックスモデルは、解釈可能性と安全性の保証の観点から課題を提起している。 本稿では,事前学習ニューラルネットワークに適した階層的かつ非結合なポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:19:03Z)
• Contextually Entangled Gradient Mapping for Optimized LLM Comprehension [0.0]
  Entually Entangled Gradient Mapping (CEGM)は、勾配最適化に対する新しいアプローチを導入する。 勾配を分離された数値エンティティではなく、コンテキスト依存の動的キャリアとして扱う。 提案手法は,既存の最適化戦略において重要なギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-01-28T11:50:35Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Better Training using Weight-Constrained Stochastic Dynamics [0.0]
  我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。 カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。 グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-06-20T14:41:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。