論文の概要: Aligned Multi Objective Optimization

• arxiv url: http://arxiv.org/abs/2502.14096v1
• Date: Wed, 19 Feb 2025 20:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:26:52.025897
• Title: Aligned Multi Objective Optimization
• Title（参考訳）: 適応型多目的最適化
• Authors: Yonathan Efroni, Ben Kertzu, Daniel Jiang, Jalaj Bhandari, Zheqing, Zhu, Karen Ullrich,
• Abstract要約: 機械学習の実践では、このような衝突が起こらないシナリオが数多く存在する。 近年のマルチタスク学習,強化学習,LLMsトレーニングの成果から,多種多様な関連タスクが,目的物間のパフォーマンスを同時に向上する可能性が示唆された。 我々は、アラインド多目的最適化フレームワークを導入し、この設定のための新しいアルゴリズムを提案し、それらの優れた性能の理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 14.320569438197271
• License:
• Abstract: To date, the multi-objective optimization literature has mainly focused on conflicting objectives, studying the Pareto front, or requiring users to balance tradeoffs. Yet, in machine learning practice, there are many scenarios where such conflict does not take place. Recent findings from multi-task learning, reinforcement learning, and LLMs training show that diverse related tasks can enhance performance across objectives simultaneously. Despite this evidence, such phenomenon has not been examined from an optimization perspective. This leads to a lack of generic gradient-based methods that can scale to scenarios with a large number of related objectives. To address this gap, we introduce the Aligned Multi-Objective Optimization framework, propose new algorithms for this setting, and provide theoretical guarantees of their superior performance compared to naive approaches.
• Abstract（参考訳）: これまで、多目的最適化の文献は、主に目的の相反、Paretoのフロントの研究、ユーザによるトレードオフのバランスの要求などに焦点を当ててきた。 しかし、機械学習の実践では、このような衝突が起こらないシナリオが数多く存在する。 近年のマルチタスク学習,強化学習,LLMsトレーニングの成果から,多種多様な関連タスクが,目的物間のパフォーマンスを同時に向上する可能性が示唆された。 この証拠にもかかわらず、最適化の観点からはそのような現象は検討されていない。 これは、多数の関連する目的を持ったシナリオにスケール可能な、一般的な勾配ベースのメソッドの欠如につながります。 このギャップに対処するために、アラインド多目的最適化フレームワークを導入し、この設定のための新しいアルゴリズムを提案し、単純なアプローチに比べて優れた性能の理論的保証を提供する。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Deep Pareto Reinforcement Learning for Multi-Objective Recommender Systems [60.91599969408029]
  複数の目的を同時に最適化することは、レコメンデーションプラットフォームにとって重要なタスクです。 既存の多目的推薦システムは、そのような動的な関係を体系的に考慮していない。
  論文  参考訳（メタデータ） (2024-07-04T02:19:49Z)
• Hierarchical Optimization-Derived Learning [58.69200830655009]
  我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。 これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
  論文  参考訳（メタデータ） (2023-02-11T03:35:13Z)
• A Scale-Independent Multi-Objective Reinforcement Learning with Convergence Analysis [0.6091702876917281]
  多くのシーケンシャルな意思決定問題は、対立する可能性のある異なる目的の最適化を必要とする。 本稿では,Advantage Actor-Critic (A2C)アルゴリズムに基づいて,単エージェントスケール非依存型多目的強化学習を開発する。 次に、収束保証を提供する考案された多目的アルゴリズムに対して収束解析を行う。
  論文  参考訳（メタデータ） (2023-02-08T16:38:55Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach [38.76462300149459]
  我々は多目的勾配最適化のための多目的補正法(MoCo)を開発した。 本手法の特長は,非公正勾配を増大させることなく収束を保証できる点である。
  論文  参考訳（メタデータ） (2022-10-23T05:54:26Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)
• Empirical Study on the Benefits of Multiobjectivization for Solving Single-Objective Problems [0.0]
  局所オプティマはしばしばアルゴリズムの進行を防ぎ、深刻な脅威を引き起こす。 マルチオブジェクトの勾配に基づく高度な可視化技術を用いて,出現するマルチオブジェクトの景観の特性を図示し,考察した。 我々は,多目的COCOMOGSAがこれらの特性を利用して局所トラップを克服できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-06-25T14:04:37Z)
• A Distributional View on Multi-Objective Policy Optimization [24.690800846837273]
  大規模不変な方法で目的の好みを設定することができる多目的強化学習アルゴリズムを提案する。 フレームワーク内で異なる好みを設定することで、非支配的なソリューションの空間を追跡できることを示す。
  論文  参考訳（メタデータ） (2020-05-15T13:02:17Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。