論文の概要: Adaptive multi-gradient methods for quasiconvex vector optimization and applications to multi-task learning

• arxiv url: http://arxiv.org/abs/2402.06224v1
• Date: Fri, 9 Feb 2024 07:20:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 17:39:17.340049
• Title: Adaptive multi-gradient methods for quasiconvex vector optimization and applications to multi-task learning
• Title（参考訳）: 準凸ベクトル最適化のための適応型マルチ勾配法とマルチタスク学習への応用
• Authors: Nguyen Anh Minh and Le Dung Muu and Tran Ngoc Thang
• Abstract要約: 線形探索手法を含まない適応的なステップサイズ法を提案する。 我々は、控えめな仮定に基づく非有界収束を証明した。 提案手法をマルチタスク実験に適用し,大規模課題に対する有効性を示す。
• 参考スコア（独自算出の注目度）: 1.03590082373586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an adaptive step-size method, which does not include line-search techniques, for solving a wide class of nonconvex multiobjective programming problems on an unbounded constraint set. We also prove convergence of a general approach under modest assumptions. More specifically, the convexity criterion might not be satisfied by the objective function. Unlike descent line-search algorithms, it does not require an initial step-size to be determined by a previously determined Lipschitz constant. The process's primary characteristic is its gradual step-size reduction up until a predetermined condition is met. It can be specifically applied to offer an innovative multi-gradient projection method for unbounded constrained optimization issues. Preliminary findings from a few computational examples confirm the accuracy of the strategy. We apply the proposed technique to some multi-task learning experiments to show its efficacy for large-scale challenges.
• Abstract（参考訳）: 本稿では,非有界制約集合上の非凸多目的計画問題の幅広いクラスを解くために,直線探索法を含まない適応ステップサイズ法を提案する。 我々はまた、控えめな仮定の下での一般的なアプローチの収束も証明する。 より具体的には、凸度基準は目的関数によって満たされないかもしれない。 降下線探索アルゴリズムとは異なり、事前に決定されたリプシッツ定数によって決定される最初のステップサイズを必要としない。 プロセスの主な特徴は、所定の条件が満たされるまで段階的なステップサイズ削減である。 非有界制約付き最適化問題に対する革新的な多段階投影法を提供するために特に適用することができる。 いくつかの計算例から得られた予備的な結果は、その戦略の正確さを裏付けるものである。 提案手法をマルチタスク学習実験に適用し,大規模課題に対する有効性を示す。

関連論文リスト

• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Self-adaptive algorithms for quasiconvex programming and applications to machine learning [0.0]
  凸線探索技術や,軽微な仮定の下での汎用的アプローチを含まない,自己適応的なステップサイズ戦略を提案する。 提案手法は,いくつかの計算例から予備的な結果によって検証される。 大規模問題に対する提案手法の有効性を実証するため,機械学習実験に適用した。
  論文  参考訳（メタデータ） (2022-12-13T05:30:29Z)
• An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
  そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。 一般的な設定の下で収束保証を確立する。 我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
  論文  参考訳（メタデータ） (2022-04-28T09:43:07Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
  非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。 本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:53:28Z)
• On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
  本稿では,スムーズな制約付き最適化のための一階法について紹介する。 提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。 結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
  論文  参考訳（メタデータ） (2021-07-17T11:45:13Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。