論文の概要: No More Tuning: Prioritized Multi-Task Learning with Lagrangian Differential Multiplier Methods

• arxiv url: http://arxiv.org/abs/2412.12092v1
• Date: Mon, 16 Dec 2024 18:58:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:15.660523
• Title: No More Tuning: Prioritized Multi-Task Learning with Lagrangian Differential Multiplier Methods
• Title（参考訳）: No More Tuning:ラグランジアン微分乗算法による優先順位付きマルチタスク学習
• Authors: Zhengxing Cheng, Yuheng Huang, Zhixuan Zhang, Dan Ou, Qingwen Liu,
• Abstract要約: Web検索では、クリックスルー率やユーザエンゲージメントなど、他の指標よりも関連性が優先されることが多い。 既存のフレームワークは、さまざまなタスクの優先順位付けに十分な注意を払っている。 ステップワイドなマルチタスク最適化のために,Lagrangian Differential Multiplier Methodsを用いた新しいマルチタスク学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.725249826517734
• License:
• Abstract: Given the ubiquity of multi-task in practical systems, Multi-Task Learning (MTL) has found widespread application across diverse domains. In real-world scenarios, these tasks often have different priorities. For instance, In web search, relevance is often prioritized over other metrics, such as click-through rates or user engagement. Existing frameworks pay insufficient attention to the prioritization among different tasks, which typically adjust task-specific loss function weights to differentiate task priorities. However, this approach encounters challenges as the number of tasks grows, leading to exponential increases in hyper-parameter tuning complexity. Furthermore, the simultaneous optimization of multiple objectives can negatively impact the performance of high-priority tasks due to interference from lower-priority tasks. In this paper, we introduce a novel multi-task learning framework employing Lagrangian Differential Multiplier Methods for step-wise multi-task optimization. It is designed to boost the performance of high-priority tasks without interference from other tasks. Its primary advantage lies in its ability to automatically optimize multiple objectives without requiring balancing hyper-parameters for different tasks, thereby eliminating the need for manual tuning. Additionally, we provide theoretical analysis demonstrating that our method ensures optimization guarantees, enhancing the reliability of the process. We demonstrate its effectiveness through experiments on multiple public datasets and its application in Taobao search, a large-scale industrial search ranking system, resulting in significant improvements across various business metrics.
• Abstract（参考訳）: MTL(Multi-Task Learning)は,実用システムにおけるマルチタスクの普及にともなって,多様な領域にまたがって広く応用されている。 現実のシナリオでは、これらのタスクは、しばしば異なる優先順位を持つ。 例えば、Web検索では、クリックスルー率やユーザエンゲージメントなど、他の指標よりも関連性が優先されることが多い。 既存のフレームワークは、タスク固有の損失関数の重みを調整してタスクの優先順位を区別する、さまざまなタスクの優先順位付けに十分な注意を払っている。 しかし、タスクの数が増加するにつれて、このアプローチは課題に遭遇し、ハイパーパラメータチューニングの複雑さが指数関数的に増加する。 さらに、複数目的の同時最適化は、低優先度タスクの干渉による高優先度タスクの性能に悪影響を及ぼす可能性がある。 本稿では,段階的マルチタスク最適化のために,Lagrangian Differential Multiplier Methodsを用いた新しいマルチタスク学習フレームワークを提案する。 他のタスクに干渉することなく、優先度の高いタスクのパフォーマンスを向上させるように設計されている。 その主な利点は、タスクのハイパーパラメータのバランスを必要とせず、複数の目的を自動的に最適化できる点にある。 さらに,提案手法が最適化の保証を保証し,プロセスの信頼性を向上することを示す理論的解析を行った。 大規模産業検索ランキングシステムであるTaobao Searchにおいて,複数の公開データセットを用いた実験を行い,その有効性を示す。

関連論文リスト

• Selective Task Group Updates for Multi-Task Optimization [44.601029688423914]
  本稿では,タスクを効果的にグループ化し,学習プロセス中に更新する方法を適応的に決定するアルゴリズムを提案する。 提案手法は,従来のマルチタスク最適化手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-02-17T16:26:05Z)
• MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models [26.980104922985326]
  本稿では,ZO最適化下でのマルチタスクLLMファインチューニング用に設計された最初のフレームワークであるMaZOを紹介する。 MaZOは2つの重要な革新を通じてパラメータレベルでこれらの課題に取り組む: 臨界パラメータを識別する重みの重みの指標と、これらのパラメータを選択的に更新するマルチタスクの重みの更新マスクである。 実験により、MaZOは、一階最適化のために設計されたマルチタスク学習手法を超越して、最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-17T07:28:52Z)
• Quantifying Task Priority for Multi-Task Optimization [44.601029688423914]
  マルチタスク学習の目標は、単一の統合ネットワーク内で多様なタスクを学習することである。 マルチタスク学習のための接続強度に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T06:52:29Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。