論文の概要: TBGC: Task-level Backbone-Oriented Gradient Clip for Multi-Task Foundation Model Learning

• arxiv url: http://arxiv.org/abs/2307.03465v1
• Date: Fri, 7 Jul 2023 08:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:00:02.377875
• Title: TBGC: Task-level Backbone-Oriented Gradient Clip for Multi-Task Foundation Model Learning
• Title（参考訳）: TBGC:マルチタスク基礎モデル学習のためのタスクレベルバックボーン指向勾配クリップ
• Authors: Zelun Zhang, Xue Pan
• Abstract要約: タスクレベルのバックボーン指向の勾配クリップパラダイムを,バニラ勾配クリップ法と比較して提案する。 実験結果から,タスクレベルのバックボーン指向の勾配クリップパラダイムは,勾配バイアス問題をある程度緩和できると主張している。 CVPR2023 Foundation Model ChallengeのLeadardboard Aと2位で1位を獲得しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The AllInOne training paradigm squeezes a wide range of tasks into a unified model in a multi-task learning manner. However, optimization in multi-task learning is more challenge than single-task learning, as the gradient norm from different tasks may vary greatly, making the backbone overly biased towards one specific task. To address this issue, we propose the task-level backbone-oriented gradient clip paradigm, compared with the vanilla gradient clip method, it has two points of emphasis:1) gradient clip is performed independently for each task. 2) backbone gradients generated from each task are rescaled to the same norm scale. Based on the experimental results, we argue that the task-level backbone-oriented gradient clip paradigm can relieve the gradient bias problem to some extent. We also propose a novel multi-branch data augmentation strategy where conflict augmentations are placed in different branches. Our approach has been shown to be effective and finally achieve 1st place in the Leaderboard A and 2nd place in the Leaderboard B of the CVPR2023 Foundation Model Challenge. It's worth noting that instead of evaluating all three tasks(detection, segmentation and fine-grained classification) in Leaderboard A, the segmentation task is not evaluated in Leaderboard B, in which our team has a huge advantage.
• Abstract（参考訳）: allinoneトレーニングパラダイムは、さまざまなタスクを、マルチタスク学習形式で統一モデルに絞り込むものだ。 しかし、マルチタスク学習における最適化は、異なるタスクからの勾配ノルムが大きく異なるため、シングルタスク学習よりも難しいため、バックボーンを特定のタスクに過度に偏らせる。 この問題に対処するために,我々は,タスクレベルのバックボーン指向勾配クリップパラダイムを提案し,バニラ勾配クリップ法と比較して,次の2点を強調した。 2) 各タスクから生成されたバックボーン勾配は同じ基準スケールに再スケールされる。 実験結果から,タスクレベルのバックボーン指向の勾配クリップパラダイムは,勾配バイアス問題をある程度緩和できると主張している。 また,コンフリクト拡張を異なるブランチに配置する,新しいマルチブランチデータ拡張戦略を提案する。 我々のアプローチは効果的であることが示されており、cvpr2023 foundation model challengeのleaderboard bでleaderboard aと2位で最終的に1位を獲得した。 注意すべきなのは、リーダボードaの3つのタスク(検出、セグメンテーション、きめ細かい分類)すべてを評価するのではなく、セグメンテーションタスクがリーダボードbで評価されないことです。

関連論文リスト

• Two-Stage Multi-task Self-Supervised Learning for Medical Image Segmentation [1.5863809575305416]
  医用画像のセグメンテーションは深層学習(DL)技術によって著しく進歩している。 医療応用に固有のデータ不足は、DLベースのセグメンテーション手法に大きな課題をもたらす。
  論文  参考訳（メタデータ） (2024-02-11T07:49:35Z)
• FULLER: Unified Multi-modality Multi-task 3D Perception via Multi-level Gradient Calibration [89.4165092674947]
  マルチモダリティ融合とマルチタスク学習は、3D自動運転シナリオにおいてトレンドになりつつある。 先行研究は、学習フレームワークを経験的な知識で手作業で調整し、それがサブオプティマに繋がる可能性がある。 そこで本稿では,最適化中のタスクやモダリティにまたがる,シンプルなマルチレベル勾配校正学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-31T12:50:15Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Multitask Learning with Single Gradient Step Update for Task Balancing [4.330814031477772]
  マルチタスク学習に勾配に基づくメタラーニングを適用することで,タスク間のバランスをとるアルゴリズムを提案する。 提案手法を様々なマルチタスクコンピュータビジョン問題に適用し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-05-20T08:34:20Z)
• GradMix: Multi-source Transfer across Domains and Tasks [33.98368732653684]
  GradMixは、勾配に基づく学習規則で訓練されたモデルに適用できるモデルに依存しない手法である。 数値認識と行動認識の2つの課題についてMS-DTT実験を行った。
  論文  参考訳（メタデータ） (2020-02-09T02:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。