論文の概要: A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training

• arxiv url: http://arxiv.org/abs/2605.14860v1
• Date: Thu, 14 May 2026 14:06:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.863492
• Title: A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training
• Title（参考訳）: ニューラルネットワークトレーニングのための非モノトンプレコンディショニングトラスト回帰法
• Authors: Andrea Angino, Bindi Çapriqi, Shega Likaj, Ken Trotti, Rolf Krause,
• Abstract要約: ディープニューラルネットワークを大規模にトレーニングすることは、ドメイン分解の恩恵を受けることができる。 並列サブドメイン補正と大域的粗い空間方向を組み合わせた非線形加法的シュワルツプレコンディショナーを用いた非単調変種を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep neural networks at scale can benefit from domain decomposition, where the network is split into subdomains trained in parallel and coupled by a global trust-region mechanism. Building on the Additively Preconditioned Trust-Region Strategy (APTS), we propose a non-monotone variant with a nonlinear additive Schwarz preconditioner that combines parallel subdomain corrections with global coarse-space directions. A windowed acceptance criterion allows controlled objective increases, avoiding needless rejection of effective coarse steps. The resulting non-monotone APTS (NAPTS) preserves accuracy while reducing CPU time by 30\% and cutting rejected steps to one third of those in APTS.
• Abstract（参考訳）: ディープニューラルネットワークを大規模にトレーニングすることは、ドメイン分解の恩恵を受けることができ、ネットワークは並列でトレーニングされたサブドメインに分割され、グローバルな信頼領域メカニズムによって結合される。 本稿では, 並列サブドメイン補正と大域的粗い空間方向を組み合わせた非線形加法シュワルツプレコンディショナーを用いた非単調変種を提案する。 窓付き受理基準は、効果的な粗いステップの不要な拒絶を回避し、制御対象の増大を可能にする。 その結果、非モノトンAPTS(NAPTS)は、CPU時間を30%削減し、拒否されたステップをAPTSの3分の1に削減しながら精度を維持する。

関連論文リスト

• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• A Secure and Private Distributed Bayesian Federated Learning Design [56.92336577799572]
  DFL(Distributed Federated Learning)は、中央パラメータサーバを持たない大規模システム間の分散モデルトレーニングを可能にする。 DFLは、3つの重要な課題に直面している: 正直な隣人からのプライバシー漏洩、中央調整の欠如による収束の遅さ、モデルの精度の低下を目指すビザンティンの敵に対する脆弱性。 本稿では,ビザンチンの堅牢性,プライバシー保護,収束促進を統合した新しいDFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-23T16:12:02Z)
• Neuronal Attention Circuit (NAC) for Representation Learning [2.0573301822495553]
  線形一階ODEの解法としてアテンションロジット計算を再構成するCT-Attention機構を導入する。 我々は、不規則な時系列分類、自動運転車の車線維持、産業の予後など、さまざまな領域でNACを実装している。
  論文  参考訳（メタデータ） (2025-12-11T04:49:44Z)
• Data-Parallel Neural Network Training via Nonlinearly Preconditioned Trust-Region Method [0.0]
  我々は、ディープニューラルネットワーク(DNN)を訓練するためのAPTS(Additively Preconditioned Trust-Region Strategy)の変種を提案する。 提案手法はデータ並列手法を用いて非線形最適化戦略で使用される非線形プリコンディショナーを構築する。 MNISTとCIFAR-10データセットを用いて提案したAPTS変種の性能を示す。
  論文  参考訳（メタデータ） (2025-02-07T18:11:33Z)
• Parallel Trust-Region Approaches in Neural Network Training: Beyond Traditional Methods [0.0]
  我々は、追加事前条件付き信頼地域戦略(APTS)の新たな変種を用いてニューラルネットワーク(NN)を訓練することを提案する。 提案手法は,ニューラルネットワークのパラメータに適用した並列化可能な付加的ドメイン分解手法に基づく。
  論文  参考訳（メタデータ） (2023-12-21T09:00:24Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Stochastic Block-ADMM for Training Deep Networks [16.369102155752824]
  ディープニューラルネットワークをバッチおよびオンライン設定でトレーニングする手法として,Block-ADMMを提案する。 本手法はニューラルネットワークを任意の数のブロックに分割し,これらのブロックを補助変数で接続する。 我々は,提案手法の収束を証明し,教師あり・弱教師あり設定実験を通じてその能力の正当化を行う。
  論文  参考訳（メタデータ） (2021-05-01T19:56:13Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。