論文の概要: Fantastic Multi-Task Gradient Updates and How to Find Them In a Cone

• arxiv url: http://arxiv.org/abs/2502.00217v1
• Date: Fri, 31 Jan 2025 23:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:25.550822
• Title: Fantastic Multi-Task Gradient Updates and How to Find Them In a Cone
• Title（参考訳）: マルチタスクのグラディエントアップデートとコーンの中のテーマを見つける方法
• Authors: Negar Hassanpour, Muhammad Kamran Janjua, Kunlin Zhang, Sepehr Lavasani, Xiaowen Zhang, Chunhua Zhou, Chao Gao,
• Abstract要約: 我々は,制約付き最適化問題として定式化された,原則付き,スケーラブルで,堅牢なMTLアプローチであるConicGradを提案する。 本手法では, 傾き更新方向を動的に調節する角度制約を導入し, 全体目標の基準勾配を中心とする円錐内に収束させる。 我々は,標準的な教師付き学習と強化学習のMTLベンチマークに関する広範な実験を行い,様々なタスクにおいて,コニックグラッドが最先端のパフォーマンスを達成できることを実証した。
• 参考スコア（独自算出の注目度）: 14.702480423653984
• License:
• Abstract: Balancing competing objectives remains a fundamental challenge in multi-task learning (MTL), primarily due to conflicting gradients across individual tasks. A common solution relies on computing a dynamic gradient update vector that balances competing tasks as optimization progresses. Building on this idea, we propose ConicGrad, a principled, scalable, and robust MTL approach formulated as a constrained optimization problem. Our method introduces an angular constraint to dynamically regulate gradient update directions, confining them within a cone centered on the reference gradient of the overall objective. By balancing task-specific gradients without over-constraining their direction or magnitude, ConicGrad effectively resolves inter-task gradient conflicts. Moreover, our framework ensures computational efficiency and scalability to high-dimensional parameter spaces. We conduct extensive experiments on standard supervised learning and reinforcement learning MTL benchmarks, and demonstrate that ConicGrad achieves state-of-the-art performance across diverse tasks.
• Abstract（参考訳）: 競合する目標のバランスをとることは、主に個々のタスク間の勾配が矛盾するため、マルチタスク学習(MTL)における根本的な課題である。 一般的な解決策は、最適化が進むにつれて競合するタスクのバランスをとる動的勾配更新ベクトルの計算に依存する。 このアイデアに基づいて、制約付き最適化問題として定式化された、原則付き、スケーラブルで、堅牢なMTLアプローチであるConicGradを提案する。 本手法では, 傾き更新方向を動的に調節する角度制約を導入し, 全体目標の基準勾配を中心とする円錐内に収束させる。 タスク固有の勾配を、方向や大きさを過度に制約することなくバランスさせることで、ConicGradはタスク間の勾配の衝突を効果的に解決する。 さらに,本フレームワークは高次元パラメータ空間に対する計算効率とスケーラビリティを確保する。 我々は,標準的な教師付き学習と強化学習のMTLベンチマークに関する広範な実験を行い,様々なタスクにおいて,コニックグラッドが最先端のパフォーマンスを達成できることを実証した。

関連論文リスト

• Optimistic Gradient Learning with Hessian Corrections for High-Dimensional Black-Box Optimization [14.073853819633745]
  ブラックボックスアルゴリズムは、基礎となる解析構造や勾配情報に頼ることなく、関数を最適化するように設計されている。 本研究では,高次元・複雑・非線形問題による課題に対処するための2つの新しい勾配学習変種を提案する。
  論文  参考訳（メタデータ） (2025-02-07T11:03:50Z)
• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [39.4348419684885]
  マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。 ベイジアン推論を用いた新しい勾配集約手法を提案する。 さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
  論文  参考訳（メタデータ） (2024-02-06T14:00:43Z)
• Independent Component Alignment for Multi-Task Learning [2.5234156040689237]
  マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。 MTL最適化の安定性基準として線形勾配系の条件数を用いる。 本稿では,提案基準に基づく新しいMTL最適化手法であるAligned-MTLを提案する。
  論文  参考訳（メタデータ） (2023-05-30T12:56:36Z)
• Gradient Coordination for Quantifying and Maximizing Knowledge Transference in Multi-Task Learning [11.998475119120531]
  マルチタスク学習(MTL)はオンライン広告やレコメンデーションシステムに広く応用されている。 本稿では,知識伝達を適応的に最大化する伝達駆動型アプローチCoGradを提案する。
  論文  参考訳（メタデータ） (2023-03-10T10:42:21Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。