論文の概要: A Unified Framework for Gradient Aggregation in Multi-Objective Optimization
- arxiv url: http://arxiv.org/abs/2605.30452v1
- Date: Thu, 28 May 2026 18:21:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.167142
- Title: A Unified Framework for Gradient Aggregation in Multi-Objective Optimization
- Title（参考訳）: 多目的最適化におけるグラディエント・アグリゲーションのための統一フレームワーク
- Authors: Zeou Hu, Kelvin Ho, Yaoliang Yu,
- Abstract要約: 我々はMOOにおける勾配集約のための統一フレームワークを開発する。
両錐体への射影により実現可能性を保証することを示し、収束保証を許容する手法の範囲を広げる。
本稿では、確立されたアルゴリズムを包含し、それらの理論的関係を明確化し、新しい変種の設計を可能にする勾配集約の最適化的視点を示す。
- 参考スコア（独自算出の注目度）: 23.311857116714176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many machine learning problems involve multiple inherent trade-offs that are best addressed by gradient-based multi-objective optimization (MOO) algorithms. Existing methods are often proposed with various motivations, analyzed case by case, and differ algorithmically in how the component gradients are aggregated at each step. In this work, we develop a unifying framework for gradient aggregation in MOO, establishing (optimal) rates of convergence to Pareto stationarity, the standard measure of performance in MOO. Central to our analysis is a sufficient alignment condition, from which we derive a theorem showing that non-conflicting directions, when chosen within the convex hull of gradients, form a fundamental sufficient condition for convergence. We further show that feasibility can be ensured through projection onto the dual cone, broadening the scope of methods that admit convergence guarantees. In parallel, we present a primal optimization perspective of gradient aggregation that encompasses established algorithms, clarifies their theoretical relationships, and enables the design of new variants. As an illustration, we introduce capped MGDA, derived from a CVaR-based formulation, and demonstrate its robustness in adversarial federated learning. Finally, we validate our theory through experiments on synthetic problems and practical benchmarks.
- Abstract（参考訳）: 多くの機械学習問題は、勾配に基づく多目的最適化(MOO)アルゴリズムによって最もよく対処される複数の固有のトレードオフを含んでいる。
既存の手法はしばしば様々なモチベーションを持って提案され、ケースごとに分析され、各ステップで成分勾配がどのように集約されるかでアルゴリズム的に異なる。
本研究では,MOOにおける勾配集約のための統一フレームワークを開発し,MOOにおける性能の標準尺度であるPareto固定度への収束率(最適)を確立する。
解析の中心は十分なアライメント条件であり、そこから勾配の凸包で選択された非衝突方向が収束の基本的な十分条件となることを示す定理を導出する。
さらに、双対円錐への射影により実現可能性を保証することを示し、収束保証を許容する手法の範囲を広げる。
並列に、確立されたアルゴリズムを包含し、それらの理論的関係を明確化し、新しい変種の設計を可能にする勾配アグリゲーションの最適化的な視点を示す。
CVaRをベースとした定式化によるキャップ型MGDAを導入し,その頑健さを実証した。
最後に、合成問題と実用的なベンチマークの実験を通して、我々の理論を検証する。
関連論文リスト
- Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。
推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
論文 参考訳（メタデータ） (2025-12-03T13:16:35Z) - Simple Optimizers for Convex Aligned Multi-Objective Optimization [19.421000251704168]
標準の滑らかさやリプシッツ連続性条件下での凸AMOOの勾配差アルゴリズムについて検討した。
我々はツールを開発し、AMOOを凸するスケーラブルなアルゴリズムを提案し、収束保証を確立する。
論文 参考訳（メタデータ） (2025-09-06T19:08:35Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning [0.0]
本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。
提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
論文 参考訳（メタデータ） (2023-03-28T10:17:51Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳（メタデータ） (2021-10-16T09:47:57Z) - Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
テンソルの合同ベンチマークとクラスタリングの問題を考察する。
本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-15T21:06:16Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。