論文の概要: Dangerous Liaisons of Convex Learning and Non-Affine Aggregation

• arxiv url: http://arxiv.org/abs/2606.28123v1
• Date: Fri, 26 Jun 2026 14:24:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.512081
• Title: Dangerous Liaisons of Convex Learning and Non-Affine Aggregation
• Title（参考訳）: 凸学習と非アフィン集合の危険ライゾン
• Abstract要約: 最後の項目収束と一般化は、更新演算子の単調性に対する一階凸学習ヒンジの保証である。 非アフィンアグリゲーションは安定した収束を防ぎ、アルゴリズムの安定性を著しく低下させる。 この結果は,現代の学習システムで観測される相異なる障害モードを説明する統一的な理論フレームワークを提供する。
• 参考スコア（独自算出の注目度）: 19.624245500772027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Last-iterate convergence and generalization guarantees in first-order convex learning hinge on the monotonicity of the update operator. While linear averaging preserves the monotonicity of gradient updates, this property is often violated when gradients are aggregated non-affinely, as in modern pipelines enforcing constraints like adaptivity, privacy, robustness or fairness. Whether it is possible to design non-affine aggregation rules that maintain monotonicity has remained an open question. We answer this question negatively: we prove that the monotonicity of aggregated gradients is preserved if and only if the aggregation rule is positively affine. Consequently, non-affine aggregation prevents steady convergence and substantially degrade algorithmic stability. We quantify these drawbacks and propose a path forward by identifying sufficient conditions under which monotonicity can be restored. Our results provide a unified theoretical framework explaining the disparate failure modes observed in modern learning systems.
• Abstract（参考訳）: 最後の項目収束と一般化は、更新演算子の単調性に対する一階凸学習ヒンジの保証である。 線形平均化は勾配更新の単調性を保存するが、この性質は、適応性、プライバシー、堅牢性、公正性といった制約を課す現代のパイプラインのように、勾配が非親和性で集約されたときにしばしば破られる。 単調性を維持する非ファインアグリゲーションルールを設計できるかどうかは未解決のままである。 集約された勾配の単調性は、アグリゲーション規則が正にアフィンである場合にのみ保存されることを証明します。 その結果、非アフィンアグリゲーションは安定した収束を防ぎ、アルゴリズムの安定性を著しく低下させる。 これらの欠点を定量化し, モノトニック性を回復できる十分な条件を同定し, 前進経路を提案する。 この結果は,現代の学習システムで観測される相異なる障害モードを説明する統一的な理論フレームワークを提供する。

関連論文リスト

• High-Probability Convergence of SGD via Batched Updates [4.862625283098196]
  Batched SGDは、オンラインエポックを最適化に反復するシンプルなバリエーションである。 我々の主な貢献は、このメカニズムが驚くほど単純な高確率解析を可能にすることを示している。
  論文  参考訳（メタデータ） (2026-09-11T12:17:18Z)
• Non-Convex Sparse Reinforcement Learning via Non-Monotone Inclusions [7.408148824204063]
  この研究は、強化学習(RL)における効率的な特徴選択と、非単調包摂理論への2つの重要な貢献を提供する。
  論文  参考訳（メタデータ） (2026-07-06T12:25:47Z)
• Learning Context-conditioned Gaussian Overbounds for Convolution-Based Uncertainty Propagation [4.891998873486944]
  本稿では,ニューラルネットワークを用いて文脈認識型ガウスオーバーバウンドを生成する統合学習フレームワークを提案する。 本稿では、離散連続保守主義とコンパクト領域目的正規性のスコープ解析について述べる。 このフレームワークはモダリティに依存しず、保守的で特徴条件のある不確実性推定を必要とする学習システムに適用できる。
  論文  参考訳（メタデータ） (2026-05-15T09:47:05Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Exploiting hidden structures in non-convex games for convergence to Nash equilibrium [62.88214569402201]
  現代の機械学習アプリケーションは、非協調的なナッシュリリアとして定式化することができる。 決定論的環境と決定論的環境の両方に明確な収束保証を提供する。
  論文  参考訳（メタデータ） (2023-12-27T15:21:25Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Variance-Reduced Splitting Schemes for Monotone Stochastic Generalized Equations [0.0]
  演算子を期待値とする単調な包摂問題を考える。 分割スキームの直接適用は、各ステップにおける期待値マップによる問題解決の必要性により複雑である。 本稿では,不確実性に対処する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T02:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。