論文の概要: Simple Optimizers for Convex Aligned Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2509.05811v1
• Date: Sat, 06 Sep 2025 19:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.726096
• Title: Simple Optimizers for Convex Aligned Multi-Objective Optimization
• Title（参考訳）: 凸配向多目的最適化のための簡易最適化法
• Authors: Ben Kretzu, Karen Ullrich, Yonathan Efroni,
• Abstract要約: 標準の滑らかさやリプシッツ連続性条件下での凸AMOOの勾配差アルゴリズムについて検討した。 我々はツールを開発し、AMOOを凸するスケーラブルなアルゴリズムを提案し、収束保証を確立する。
• 参考スコア（独自算出の注目度）: 19.421000251704168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is widely recognized in modern machine learning practice that access to a diverse set of tasks can enhance performance across those tasks. This observation suggests that, unlike in general multi-objective optimization, the objectives in many real-world settings may not be inherently conflicting. To address this, prior work introduced the Aligned Multi-Objective Optimization (AMOO) framework and proposed gradient-based algorithms with provable convergence guarantees. However, existing analysis relies on strong assumptions, particularly strong convexity, which implies the existence of a unique optimal solution. In this work, we relax this assumption and study gradient-descent algorithms for convex AMOO under standard smoothness or Lipschitz continuity conditions-assumptions more consistent with those used in deep learning practice. This generalization requires new analytical tools and metrics to characterize convergence in the convex AMOO setting. We develop such tools, propose scalable algorithms for convex AMOO, and establish their convergence guarantees. Additionally, we prove a novel lower bound that demonstrates the suboptimality of naive equal-weight approaches compared to our methods.
• Abstract（参考訳）: 現代の機械学習の実践では、多様なタスクにアクセスすることで、それらのタスク全体のパフォーマンスを向上させることが広く認識されている。 この観察は、一般的な多目的最適化とは異なり、現実世界の多くの設定の目的は本質的に矛盾しないかもしれないことを示唆している。 これを解決するために、先行研究では、アラインド多目的最適化(AMOO)フレームワークと、証明可能な収束保証を備えた勾配に基づくアルゴリズムが導入された。 しかし、既存の解析は強い仮定、特に強い凸性に依存しており、これは一意の最適解が存在することを意味する。 本研究では、この仮定を緩和し、標準的な滑らかさやリプシッツ連続性条件下での凸 AMOO の勾配差アルゴリズムの研究を行う。 この一般化には、凸 AMOO 設定における収束を特徴づけるために、新しい解析ツールとメトリクスが必要である。 このようなツールを開発し、凸AMOOのスケーラブルなアルゴリズムを提案し、収束保証を確立する。 さらに,本手法と比較して,ナイーブな等重量アプローチの準最適性を示す新しい下界を証明した。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [17.384717824118255]
  この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。 これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
  論文  参考訳（メタデータ） (2024-02-14T10:48:00Z)
• An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
  そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。 一般的な設定の下で収束保証を確立する。 我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
  論文  参考訳（メタデータ） (2022-04-28T09:43:07Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。