論文の概要: Omni-Training for Data-Efficient Deep Learning

• arxiv url: http://arxiv.org/abs/2110.07510v1
• Date: Thu, 14 Oct 2021 16:30:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 17:13:59.686958
• Title: Omni-Training for Data-Efficient Deep Learning
• Title（参考訳）: データ効率のよいディープラーニングのためのOmni-Training
• Authors: Yang Shu, Zhangjie Cao, Jinghan Gao, Jianmin Wang, Mingsheng Long
• Abstract要約: 近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。 事前訓練とメタトレーニングの厳密な組み合わせは、どちらの種類のトランスファー可能性も達成できない。 このことが提案されているOmni-Trainingフレームワークを,データ効率のよいディープラーニングに動機付けている。
• 参考スコア（独自算出の注目度）: 80.28715182095975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning a generalizable deep model from a few examples in a short time remains a major challenge of machine learning, which has impeded its wide deployment to many scenarios. Recent advances reveal that a properly pre-trained model endows an important property: transferability. A higher transferability of the learned representations indicates a better generalizability across domains of different distributions (domain transferability), or across tasks of different semantics (task transferability). Transferability has become the key to enable data-efficient deep learning, however, existing pre-training methods focus only on the domain transferability while meta-training methods only on the task transferability. This restricts their data-efficiency in downstream scenarios of diverging domains and tasks. A finding of this paper is that even a tight combination of pre-training and meta-training cannot achieve both kinds of transferability. This motivates the proposed Omni-Training framework towards data-efficient deep learning. Our first contribution is Omni-Net, a tri-flow architecture. Besides the joint representation flow, Omni-Net introduces two new parallel flows for pre-training and meta-training, respectively responsible for learning representations of domain transferability and task transferability. Omni-Net coordinates the parallel flows by routing them via the joint-flow, making each gain the other kind of transferability. Our second contribution is Omni-Loss, in which a mean-teacher regularization is imposed to learn generalizable and stabilized representations. Omni-Training is a general framework that accommodates many existing pre-training and meta-training algorithms. A thorough evaluation on cross-task and cross-domain datasets in classification, regression and reinforcement learning problems shows that Omni-Training consistently outperforms the state-of-the-art methods.
• Abstract（参考訳）: 短期間にいくつかの例から一般化可能な深層モデルを学ぶことは、マシンラーニングの大きな課題であり、多くのシナリオに広範に展開することを妨げている。 近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。 学習表現のより高い転送性は、異なる分散領域(ドメイン転送可能性)や異なる意味(タスク転送可能性)のタスクをまたいだより優れた一般化性を示す。 トランスファービリティはデータ効率の深い学習を可能にする鍵となっているが、既存の事前トレーニング手法はドメイントランスファービリティのみに焦点を当て、メタトレーニング手法はタスクトランスファービリティのみに焦点を当てている。 これにより、ドメインとタスクの分散という下流シナリオにおけるデータ効率が制限される。 本稿では,事前学習とメタトレーニングの密接な組み合わせでも,両種類の伝達能力が得られないことを示す。 これは、データ効率のよいディープラーニングに向けて提案された全学学習フレームワークを動機付けている。 最初のコントリビューションは,トリフローアーキテクチャであるOmni-Netです。 共同表現フローに加えて、Omni-Netは2つの新しい並列フローを導入し、それぞれがドメイン転送可能性とタスク転送可能性の学習を行う。 Omni-Netは、ジョイントフローを介してそれらをルーティングすることで並列フローを調整する。 第2の貢献はomni-lossで、平均教師正規化は一般化と安定化された表現を学ぶために課される。 Omni-Trainingは多くの既存の事前トレーニングおよびメタトレーニングアルゴリズムに対応する一般的なフレームワークである。 分類、回帰、強化学習問題におけるクロスタスクおよびクロスドメインデータセットの徹底的な評価により、omni-trainingは最先端の手法を一貫して上回っていることが示された。

関連論文リスト

• Efficient Transfer Learning for Video-language Foundation Models [13.166348605993292]
  テキストと視覚分岐における表現のアライメントを改善するため,MSTA(Multi-modal Spatio-supervised)を提案する。 提案手法の有効性は,ゼロショット転送,少数ショット学習,ベース・ツー・ヴァリアント,完全言語学習の4つの課題にまたがる。
  論文  参考訳（メタデータ） (2024-11-18T01:25:58Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Incremental Learning Meets Transfer Learning: Application to Multi-site Prostate MRI Segmentation [16.50535949349874]
  インクリメンタルトランスファー学習(ITL)と呼ばれる新しいマルチサイトセグメンテーションフレームワークを提案する。 ITLは、エンドツーエンドのシーケンシャルな方法で、マルチサイトデータセットからモデルを学習する。 ITLトレーニングスキームを活用することで、漸進的な学習における破滅的な問題を軽減できることを示す。
  論文  参考訳（メタデータ） (2022-06-03T02:32:01Z)
• Meta-learning Transferable Representations with a Single Target Domain [46.83481356352768]
  微調整とジョイントトレーニングは、下流タスクの精度を常に向上させるわけではない。 伝達可能な特徴を学習するためのメタ表現学習(MeRLin)を提案する。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。
  論文  参考訳（メタデータ） (2020-11-03T01:57:37Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。