論文の概要: PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2412.10961v2
• Date: Tue, 17 Dec 2024 04:25:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:13.517075
• Title: PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization
• Title（参考訳）: PSMGD: 高速多目的最適化のための周期確率的マルチグラディエントDescent
• Authors: Mingjing Xu, Peizhong Ju, Jia Liu, Haibo Yang,
• Abstract要約: マルチオブジェクト最適化(MOO)は多くの機械学習(ML)アプリケーションの中核にある。 我々はMOOを加速するためにPSMGD(Realic Multi-Grad Descent)を提案する。 PSMGDは、同等または優れた最先端のアルゴリズムを提供することができる。
• 参考スコア（独自算出の注目度）: 17.131747385975892
• License:
• Abstract: Multi-objective optimization (MOO) lies at the core of many machine learning (ML) applications that involve multiple, potentially conflicting objectives (e.g., multi-task learning, multi-objective reinforcement learning, among many others). Despite the long history of MOO, recent years have witnessed a surge in interest within the ML community in the development of gradient manipulation algorithms for MOO, thanks to the availability of gradient information in many ML problems. However, existing gradient manipulation methods for MOO often suffer from long training times, primarily due to the need for computing dynamic weights by solving an additional optimization problem to determine a common descent direction that can decrease all objectives simultaneously. To address this challenge, we propose a new and efficient algorithm called Periodic Stochastic Multi-Gradient Descent (PSMGD) to accelerate MOO. PSMGD is motivated by the key observation that dynamic weights across objectives exhibit small changes under minor updates over short intervals during the optimization process. Consequently, our PSMGD algorithm is designed to periodically compute these dynamic weights and utilizes them repeatedly, thereby effectively reducing the computational overload. Theoretically, we prove that PSMGD can achieve state-of-the-art convergence rates for strongly-convex, general convex, and non-convex functions. Additionally, we introduce a new computational complexity measure, termed backpropagation complexity, and demonstrate that PSMGD could achieve an objective-independent backpropagation complexity. Through extensive experiments, we verify that PSMGD can provide comparable or superior performance to state-of-the-art MOO algorithms while significantly reducing training time.
• Abstract（参考訳）: 多目的最適化(MOO)は多くの機械学習(ML)アプリケーションの中核にあり、複数の、潜在的に矛盾する目標(例えば、マルチタスク学習、多目的強化学習など)を含んでいる。 MOOの長い歴史にもかかわらず、近年、多くのML問題における勾配情報の提供により、MOOの勾配操作アルゴリズムの開発において、MLコミュニティ内での関心が高まっている。 しかし、MOOの既存の勾配操作法は、主に、全ての目的を同時に減らす共通の降下方向を決定するために、追加の最適化問題を解くことで、動的重みの計算を必要とするため、長い訓練時間に悩まされることが多い。 そこで本研究では,MOOを高速化するPSMGDというアルゴリズムを提案する。 PSMGDは、最適化過程の短い間隔で小さな更新の下で、目的物全体の動的重みが小さな変化を示すという重要な観察に動機付けられている。 その結果、PSMGDアルゴリズムは周期的にこれらの動的重みを計算し、繰り返し利用するように設計されており、計算過負荷を効果的に低減することができる。 理論的には、PSMGDは強凸、一般凸、非凸関数に対して最先端の収束率を達成することができる。 さらに,PSMGDが目的に依存しないバックプロパゲーション複雑性を達成できることを示す。 広汎な実験により,PSMGDは最先端MOOアルゴリズムに匹敵する,あるいは優れた性能を達成できるとともに,トレーニング時間を大幅に短縮できることを確認した。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Common pitfalls to avoid while using multiobjective optimization in machine learning [1.2499537119440245]
  機械学習(ML)における多目的最適化(MOO)の適用の探求への関心が高まっている。 その可能性にもかかわらず、MOOを使いたいML実践者のエントリーレベルガイドとして機能する十分な文献が不足している。 従来の研究、特に深層学習におけるMOO(物理情報ニューラルネットワーク(PINN)を手がかりに)に関する研究を批判的にレビューし、MLにおけるMOOの原則をよりよく把握する必要性を強調した誤解を特定する。
  論文  参考訳（メタデータ） (2024-05-02T17:12:25Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Structured Pruning of Neural Networks for Constraints Learning [5.689013857168641]
  MIPへの統合に先立って,これらの手法の1つであるプルーニングの有効性を示す。 我々は、複数の層を持つフィードフォワードニューラルネットワークを用いて実験を行い、敵の例を構築した。 以上の結果から,プルーニングは最終決定の質を損なうことなく,解時間を大幅に短縮することを示した。
  論文  参考訳（メタデータ） (2023-07-14T16:36:49Z)
• Three-Way Trade-Off in Multi-Objective Learning: Optimization, Generalization and Conflict-Avoidance [47.42067405054353]
  MOL(Multi-objective Learning)は、機械学習の新興問題においてしばしば発生する問題である。 MOLにおける重要な課題の1つは、反復最適化プロセスにおける異なる目的間の潜在的な衝突である。 近年,MGDAやその変種など,MOLの動的重み付けアルゴリズムが開発されている。
  論文  参考訳（メタデータ） (2023-05-31T17:31:56Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables for Soft Estimation with Low Complexity [9.62543698736491]
  ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。 我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。 特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
  論文  参考訳（メタデータ） (2021-02-25T09:54:25Z)
• Gradient Monitored Reinforcement Learning [0.0]
  我々は、強化学習アルゴリズムにおける訓練の強化と評価性能に焦点をあてる。 本稿では,トレーニングプロセス自体からの動的発達とフィードバックに基づいて,ニューラルネットワークの重みパラメータの学習をステアリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T13:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。