論文の概要: GradCraft: Elevating Multi-task Recommendations through Holistic Gradient Crafting

• arxiv url: http://arxiv.org/abs/2407.19682v2
• Date: Mon, 18 Nov 2024 06:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:26:10.530435
• Title: GradCraft: Elevating Multi-task Recommendations through Holistic Gradient Crafting
• Title（参考訳）: GradCraft: ホリスティックなグラディエントなクラフトを通じて、マルチタスクの推奨を高める
• Authors: Yimeng Bai, Yang Zhang, Fuli Feng, Jing Lu, Xiaoxue Zang, Chenyi Lei, Yang Song,
• Abstract要約: 既存のマルチタスク学習手法は、推薦シナリオの特定の特徴を見落としている。 そこで我々は,GradCraftという革新的な方法論を提案する。 GradCraftは勾配を動的に調整し、最大勾配ノルムに合わせて調整する。 その後、全ての矛盾するタスクを同時に考慮しながら、方向の勾配の衝突を除去するためにプロジェクションを使用する。
• 参考スコア（独自算出の注目度）: 41.6777299621612
• License:
• Abstract: Recommender systems require the simultaneous optimization of multiple objectives to accurately model user interests, necessitating the application of multi-task learning methods. However, existing multi-task learning methods in recommendations overlook the specific characteristics of recommendation scenarios, falling short in achieving proper gradient balance. To address this challenge, we set the target of multi-task learning as attaining the appropriate magnitude balance and the global direction balance, and propose an innovative methodology named GradCraft in response. GradCraft dynamically adjusts gradient magnitudes to align with the maximum gradient norm, mitigating interference from gradient magnitudes for subsequent manipulation. It then employs projections to eliminate gradient conflicts in directions while considering all conflicting tasks simultaneously, theoretically guaranteeing the global resolution of direction conflicts. GradCraft ensures the concurrent achievement of appropriate magnitude balance and global direction balance, aligning with the inherent characteristics of recommendation scenarios. Both offline and online experiments attest to the efficacy of GradCraft in enhancing multi-task performance in recommendations. The source code for GradCraft can be accessed at https://github.com/baiyimeng/GradCraft.
• Abstract（参考訳）: リコメンダシステムは、ユーザの興味を正確にモデル化するために複数の目的を同時に最適化し、マルチタスク学習手法の適用を必要とする。 しかし、レコメンデーションにおける既存のマルチタスク学習手法は、レコメンデーションシナリオの特定の特徴を見落とし、適切な勾配バランスを達成するには不十分である。 この課題に対処するため、我々はマルチタスク学習の目標を、適切な大きさのバランスと世界方向のバランスを達成するために設定し、それに応えて、GradCraftという革新的な方法論を提案する。 GradCraftは勾配度を動的に調整し、最大勾配ノルムと整合し、その後の操作のために勾配度から干渉を緩和する。 その後、全ての対立するタスクを同時に考慮し、方向性の対立の世界的な解決を理論的に保証しながら、方向の緩やかな衝突を除去する投射を用いる。 GradCraftは、適切な規模のバランスとグローバルな方向性バランスの同時達成を保証する。 オフラインとオンラインの両方の実験は、マルチタスクのパフォーマンス向上におけるGradCraftの有効性を実証している。 GradCraftのソースコードはhttps://github.com/baiyimeng/GradCraft.comからアクセスできる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Long-Tailed Learning as Multi-Objective Optimization [29.012779934262973]
  シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。 そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:30:31Z)
• Gradient Coordination for Quantifying and Maximizing Knowledge Transference in Multi-Task Learning [11.998475119120531]
  マルチタスク学習(MTL)はオンライン広告やレコメンデーションシステムに広く応用されている。 本稿では,知識伝達を適応的に最大化する伝達駆動型アプローチCoGradを提案する。
  論文  参考訳（メタデータ） (2023-03-10T10:42:21Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• Gradient Monitored Reinforcement Learning [0.0]
  我々は、強化学習アルゴリズムにおける訓練の強化と評価性能に焦点をあてる。 本稿では,トレーニングプロセス自体からの動的発達とフィードバックに基づいて,ニューラルネットワークの重みパラメータの学習をステアリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T13:45:47Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。