論文の概要: Continual Optimization with Symmetry Teleportation for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2503.04046v1
• Date: Thu, 06 Mar 2025 02:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:01:12.707370
• Title: Continual Optimization with Symmetry Teleportation for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のための対称性テレポーテーションによる連続的最適化
• Authors: Zhipeng Zhou, Ziqiao Meng, Pengcheng Wu, Peilin Zhao, Chunyan Miao,
• Abstract要約: マルチタスク学習(MTL)は、1つのモデルを用いて複数のタスクの同時学習を可能にする。 シンメトリ・テレポーテーション(COST)を用いた連続最適化に基づく新しい手法を提案する。 COSTは、競合の勾配を減らすために、損失ランドスケープに別の損失等価点を求める。
• 参考スコア（独自算出の注目度）: 73.28772872740744
• License:
• Abstract: Multi-task learning (MTL) is a widely explored paradigm that enables the simultaneous learning of multiple tasks using a single model. Despite numerous solutions, the key issues of optimization conflict and task imbalance remain under-addressed, limiting performance. Unlike existing optimization-based approaches that typically reweight task losses or gradients to mitigate conflicts or promote progress, we propose a novel approach based on Continual Optimization with Symmetry Teleportation (COST). During MTL optimization, when an optimization conflict arises, we seek an alternative loss-equivalent point on the loss landscape to reduce conflict. Specifically, we utilize a low-rank adapter (LoRA) to facilitate this practical teleportation by designing convergent, loss-invariant objectives. Additionally, we introduce a historical trajectory reuse strategy to continually leverage the benefits of advanced optimizers. Extensive experiments on multiple mainstream datasets demonstrate the effectiveness of our approach. COST is a plug-and-play solution that enhances a wide range of existing MTL methods. When integrated with state-of-the-art methods, COST achieves superior performance.
• Abstract（参考訳）: マルチタスク学習(MTL)は、単一のモデルを用いて複数のタスクの同時学習を可能にする、広く研究されているパラダイムである。 多くのソリューションにもかかわらず、最適化の競合とタスクの不均衡の主な問題は未解決のままであり、性能を制限している。 コンフリクトを緩和したり、進展を促進するために、タスク損失や勾配を緩和する既存の最適化ベースのアプローチとは異なり、我々は、シンメトリ・テレポーテーション(COST)による連続最適化に基づく新しいアプローチを提案する。 MTL最適化において、最適化競合が発生すると、損失ランドスケープにおける損失等価点を求める。 具体的には、ローランクアダプタ(LoRA)を用いて、収束的、損失不変な目的を設計することで、この実用的なテレポーテーションを容易にする。 さらに,高度オプティマイザのメリットを継続的に活用するために,過去の軌道再利用戦略を導入する。 複数の主流データセットに対する大規模な実験は、我々のアプローチの有効性を実証している。 COSTはプラグイン・アンド・プレイのソリューションであり、既存のMTLメソッドを広範囲に拡張する。 最先端のメソッドと統合すると、COSTは優れたパフォーマンスを達成する。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi-Agent Deep Reinforcement Learning in Vehicular OCC [14.685237010856953]
  我々は車載OCCにおけるスペクトル効率最適化手法を提案する。 我々は最適化問題をマルコフ決定プロセス(MDP)としてモデル化し、オンラインで適用可能なソリューションの利用を可能にする。 提案手法の性能を広範囲なシミュレーションにより検証し,提案手法の様々な変種とランダムな手法との比較を行った。
  論文  参考訳（メタデータ） (2022-05-05T14:25:54Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Leveraging Trust for Joint Multi-Objective and Multi-Fidelity Optimization [0.0]
  本稿では,ベイズ的多目的・多忠実度最適化(MOMF)に対する新しいアプローチについて検討する。 複数目的とデータソースの同時最適化を支援するために,信頼度基準の革新的利用を提案する。 本手法はプラズマ物理学や流体力学などの分野におけるシミュレーション問題の解法に適用可能である。
  論文  参考訳（メタデータ） (2021-12-27T20:55:26Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• An Online Prediction Approach Based on Incremental Support Vector Machine for Dynamic Multiobjective Optimization [19.336520152294213]
  インクリメンタルサポートベクトルマシン(ISVM)に基づく新しい予測アルゴリズムを提案する。 動的多目的最適化問題(DMOP)の解決をオンライン学習プロセスとして扱う。 提案アルゴリズムは動的多目的最適化問題に効果的に取り組むことができる。
  論文  参考訳（メタデータ） (2021-02-24T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。