論文の概要: Regularity-Aware Stochastic MGDA with Adaptive Conflict-Avoidant Update Direction Control

• arxiv url: http://arxiv.org/abs/2607.15412v1
• Date: Thu, 16 Jul 2026 19:34:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.688903
• Title: Regularity-Aware Stochastic MGDA with Adaptive Conflict-Avoidant Update Direction Control
• Title（参考訳）: Adaptive Conflict-Avoidant Update Direction Control を用いた正規性を考慮した確率型MGDA
• Abstract要約: 多段階降下アルゴリズム(MGDA、Multi-gradient descend algorithm)は、目標を横断するCA(Common descent oravoidant)方向に沿って反復的に更新する作業法である。 本稿では,CA方向がヤコビ行列率に対して1/2$ホルダー連続であり,最悪の場合,1/2$は改善できないことを示す。 本稿では,CA方向のリプシッツ連続性を利用した正則性多重タスク(MoRe)法を提案する。
• 参考スコア（独自算出の注目度）: 6.349897655422752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-objective learning (MOL) aims to optimize multiple objectives simultaneously. The multi-gradient descent algorithm (MGDA) is a workhorse that iteratively updates along a common descent or conflict-avoidant (CA) direction across objectives. In stochastic settings, however, the vanilla stochastic MGDA method, SMG, lacks a fast convergence rate because mini-batch sampling introduces noise in the gradients. This causes bias in the update direction, which is controlled by the CA direction continuity. In this paper, we show that the CA direction is $1/2$-Holder continuous with respect to the Jacobian matrix, and the exponent $1/2$ cannot be improved in the worst case. This leads to a suboptimal convergence rate for vanilla stochastic MGDA in prior works. Nevertheless, under additional regularity conditions, we show this can be improved to Lipschitz continuity. Based on this insight, we propose a stochastic multi-objective regularity-aware (MoRe) method that exploits the Lipschitz continuity of the CA direction when the subproblem is regular, and switches to a fixed scalarization weight otherwise. Intuitively, the proposed algorithm employs CA direction update when the gradient conflict is large, and linear scalarization update otherwise. Theoretically, our method improves the convergence rate of SMG in the nonconvex setting from $\widetilde{\mathcal O}(T^{-1/4})$ to $\widetilde{\mathcal O}(T^{-1/2})$, where $\widetilde{\mathcal O}(\cdot)$ hides logarithmic factors. Meanwhile, we also establish the per-iterate conflict-avoidance guarantees. Empirically, experiments demonstrate its effectiveness in multi-task performance and verify convergence behavior consistent with the established theoretical rate.
• Abstract（参考訳）: マルチオブジェクト学習(MOL)は、複数の目的を同時に最適化することを目的としている。 多段階降下アルゴリズム(MGDA、Multi-gradient descend algorithm)は、共通の降下方向または衝突回避方向に沿って反復的に更新される作業馬である。 しかし、確率的設定では、ミニバッチサンプリングは勾配にノイズをもたらすため、バニラ確率MGDA法であるSMGは高速収束率を欠いている。 これにより更新方向のバイアスが発生し、CA方向の連続性によって制御される。 本稿では,CA方向がヤコビ行列に対して1/2$-ホルダー連続であることを示す。 これは、以前の研究におけるバニラ確率MGDAの最適下収束率につながる。 それでも、追加の正則性条件の下では、これはリプシッツ連続性に改善できることを示す。 この知見に基づき、サブプロブレムが正規であるときにCA方向のリプシッツ連続性を利用する確率的多目的正則性認識法(MoRe)を提案し、それ以外は固定スカラー化重みに切り替える。 直感的には、勾配の衝突が大きい場合にはCA方向の更新を用い、それ以外の場合は線形スカラー化を行う。 理論的には、この手法は非凸条件におけるSMGの収束率を$\widetilde{\mathcal O}(T^{-1/4})$から$\widetilde{\mathcal O}(T^{-1/2})$に改善し、$\widetilde{\mathcal O}(T^{-1/2})$は対数因子を隠蔽する。 また、紛争回避保証の項目についても定めています。 実験的に、マルチタスク性能におけるその効果を実証し、確立された理論速度と整合した収束挙動を検証する。

関連論文リスト

• Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization [15.2286904549704]
  二重アンカー機構,すなわち二重アンカー機構が,そのようなエラーの蓄積を伴わずに反復設定にまで拡張されていることを示す。 強い単調作用素の場合、同じアルゴリズムはよりシャープな複雑さを達成し、$$-dependenceという観点で下界とほぼ一致する。
  論文  参考訳（メタデータ） (2026-08-12T13:25:55Z)
• Accelerated and Stable Convergence with Anchored Optimistic Method [39.242061448272615]
  min-max最適化における単調変分不等式の一次解法について検討した。 本稿では,2段階の楽観的更新とHalpern反復にインスパイアされたアンカリング項を組み合わせた一般化最適化手法(GOMA)のファミリーを提案する。
  論文  参考訳（メタデータ） (2026-06-19T15:26:10Z)
• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction [9.294518380204154]
  勾配降下(SGD)アルゴリズムのオンライン推論と共分散推定について検討する。 提案手法は,既存のヘッセン自由代替品よりも優れた収差率$n(-1)/2 sqrtlog n$を達成するために,バイアス低減手法を用いている。
  論文  参考訳（メタデータ） (2026-04-23T01:48:08Z)
• Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
  我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。 この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-12T20:49:33Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
  多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。 最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。 一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
  論文  参考訳（メタデータ） (2024-05-29T18:36:59Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。