論文の概要: GPPF: A General Perception Pre-training Framework via Sparsely Activated Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2208.02148v1
• Date: Wed, 3 Aug 2022 15:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-04 13:54:05.502320
• Title: GPPF: A General Perception Pre-training Framework via Sparsely Activated Multi-Task Learning
• Title（参考訳）: gppf:sparsely activated multi-task learningによる一般知覚事前学習フレームワーク
• Authors: Benyuan Sun, Jin Dai, Zihao Liang, Congying Liu, Yi Yang, Bo Bai
• Abstract要約: 本稿では,タスクレベルの動的ネットワークを事前学習するための一般知覚事前学習フレームワークであるGPPFを提案する。 複雑な環境で学習する能力を調べることによって、3つの重要な要素を深層ネットワークに認識し、伝達する。 SIMT (Single Iteration Multiple Tasks) の同時学習を支援するプラグイン・アンド・プレイ型マルチタスク学習アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 23.15735672234869
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-training over mixtured multi-task, multi-domain, and multi-modal data remains an open challenge in vision perception pre-training. In this paper, we propose GPPF, a General Perception Pre-training Framework, that pre-trains a task-level dynamic network, which is composed by knowledge "legos" in each layers, on labeled multi-task and multi-domain datasets. By inspecting humans' innate ability to learn in complex environment, we recognize and transfer three critical elements to deep networks: (1) simultaneous exposure to diverse cross-task and cross-domain information in each batch. (2) partitioned knowledge storage in separate lego units driven by knowledge sharing. (3) sparse activation of a subset of lego units for both pre-training and downstream tasks. Noteworthy, the joint training of disparate vision tasks is non-trivial due to their differences in input shapes, loss functions, output formats, data distributions, etc. Therefore, we innovatively develop a plug-and-play multi-task training algorithm, which supports Single Iteration Multiple Tasks (SIMT) concurrently training. SIMT lays the foundation of pre-training with large-scale multi-task multi-domain datasets and is proved essential for stable training in our GPPF experiments. Excitingly, the exhaustive experiments show that, our GPPF-R50 model achieves significant improvements of 2.5-5.8 over a strong baseline of the 8 pre-training tasks in GPPF-15M and harvests a range of SOTAs over the 22 downstream tasks with similar computation budgets. We also validate the generalization ability of GPPF to SOTA vision transformers with consistent improvements. These solid experimental results fully prove the effective knowledge learning, storing, sharing, and transfer provided by our novel GPPF framework.
• Abstract（参考訳）: 混合マルチタスク、マルチドメイン、マルチモーダルデータに対する事前学習は、視知覚事前学習においてオープンな課題である。 本稿では,マルチタスクとマルチドメインのラベル付きデータセット上で,各レイヤの知識"レゴス"によって構成されるタスクレベルの動的ネットワークを事前学習する,一般的な知覚事前学習フレームワークgppfを提案する。 複雑な環境下での学習能力を調べることによって,1) 各バッチにおける多様なクロスタスクとクロスドメイン情報への同時露出という,3つの重要な要素を深層ネットワークに認識し,伝達する。 2)知識共有による個別のレゴ単位における知識記憶の分割。 3) 事前トレーニングとダウンストリームタスクの両方において,legoユニットのサブセットのスパースアクティベーション。 注目すべきは、異なる視覚タスクの合同トレーニングは、入力形状、損失関数、出力フォーマット、データ分布などの違いのため、非自明である。 そこで我々は,Single Iteration Multiple Tasks (SIMT) の同時学習を支援する,プラグアンドプレイマルチタスク学習アルゴリズムを革新的に開発する。 SIMTは、大規模マルチタスクマルチドメインデータセットによる事前トレーニングの基礎を築き、GPPF実験における安定したトレーニングに不可欠であることが証明された。 その結果, GPPF-R50モデルでは, GPPF-15Mにおける8つの事前学習タスクの強いベースラインに対して2.5-5.8の大幅な改善が達成され, 同様の計算予算を持つ22の下流タスクに対して, 様々なSOTAを抽出できることがわかった。 また,一貫した改良を施したSOTAビジョントランスへのGPPFの一般化能力についても検証した。 これらの確固たる実験結果は,gppfフレームワークによって提供される効果的な知識学習,記憶,共有,伝達を完全に証明した。

関連論文リスト

• OmniVec: Learning robust representations with cross modal sharing [28.023214572340336]
  複数のタスクを複数のモードで,統一されたアーキテクチャで学習する手法を提案する。 提案するネットワークはタスク固有エンコーダ(中央の共通トランク)とタスク固有予測ヘッドで構成される。 私たちは、視覚、オーディオ、テキスト、3Dなどの主要なモダリティでネットワークをトレーニングし、22ドルの多様性と挑戦的な公開ベンチマークの結果を報告します。
  論文  参考訳（メタデータ） (2023-11-07T14:00:09Z)
• Unified Open-Vocabulary Dense Visual Prediction [51.03014432235629]
  オープン語彙(OV)の濃密な視覚予測は研究の注目を集めている。 既存のアプローチのほとんどはタスク固有であり、個々のタスクに個別に取り組む。 我々は4つの共通密度予測タスクに共同で対処する統一オープン語彙ネットワーク(UOVN)を提案する。
  論文  参考訳（メタデータ） (2023-07-17T04:39:18Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers [0.0]
  マルチドメインテキスト・テキスト・トランスフォーマ(MD-T5)を用いたマルチドメインマルチタスク学習の動作について検討した。 我々は,ベルト型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整の3つの一般的なトレーニング戦略を用いて実験を行った。 負の知識伝達と破滅的な忘れは,すべてのモデルにおいて依然として大きな課題であるが,GPTスタイルのジョイントプレトレーニング+ジョイントファインタニング戦略はマルチドメイン・マルチタスク学習において最も有望であることを示した。
  論文  参考訳（メタデータ） (2022-09-21T04:21:27Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Omni-Training for Data-Efficient Deep Learning [80.28715182095975]
  近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。 事前訓練とメタトレーニングの厳密な組み合わせは、どちらの種類のトランスファー可能性も達成できない。 このことが提案されているOmni-Trainingフレームワークを,データ効率のよいディープラーニングに動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T16:30:36Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。