論文の概要: Multi-Task Self-Training for Learning General Representations

• arxiv url: http://arxiv.org/abs/2108.11353v1
• Date: Wed, 25 Aug 2021 17:20:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 13:58:51.605575
• Title: Multi-Task Self-Training for Learning General Representations
• Title（参考訳）: 一般表現学習のためのマルチタスク自己学習
• Authors: Golnaz Ghiasi, Barret Zoph, Ekin D. Cubuk, Quoc V. Le, Tsung-Yi Lin
• Abstract要約: マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
• 参考スコア（独自算出の注目度）: 97.01728635294879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the fast progress in training specialized models for various tasks, learning a single general model that works well for many tasks is still challenging for computer vision. Here we introduce multi-task self-training (MuST), which harnesses the knowledge in independent specialized teacher models (e.g., ImageNet model on classification) to train a single general student model. Our approach has three steps. First, we train specialized teachers independently on labeled datasets. We then use the specialized teachers to label an unlabeled dataset to create a multi-task pseudo labeled dataset. Finally, the dataset, which now contains pseudo labels from teacher models trained on different datasets/tasks, is then used to train a student model with multi-task learning. We evaluate the feature representations of the student model on 6 vision tasks including image recognition (classification, detection, segmentation)and 3D geometry estimation (depth and surface normal estimation). MuST is scalable with unlabeled or partially labeled datasets and outperforms both specialized supervised models and self-supervised models when training on large scale datasets. Lastly, we show MuST can improve upon already strong checkpoints trained with billions of examples. The results suggest self-training is a promising direction to aggregate labeled and unlabeled training data for learning general feature representations.
• Abstract（参考訳）: 様々なタスクのための専門モデルトレーニングの急速な進歩にもかかわらず、多くのタスクでうまく機能する単一の汎用モデルを学ぶことは、コンピュータビジョンにとって依然として困難である。 ここでは、独立した専門教師モデル(例えば、分類上のイメージネットモデル)の知識を活用して、1つの一般学生モデルを訓練するマルチタスク自己学習(MuST)を紹介する。 私たちのアプローチには3つのステップがあります。 まず、ラベル付きデータセットで個別に専門教師を訓練する。 次に、専門教師を使ってラベル付きデータセットをラベル付けし、マルチタスクの擬似ラベル付きデータセットを作成します。 最後に、さまざまなデータセット/タスクでトレーニングされた教師モデルの擬似ラベルを含むデータセットが、マルチタスク学習による学生モデルのトレーニングに使用される。 画像認識(分類,検出,セグメンテーション)および3次元形状推定(深さおよび表面正規推定)を含む6つの視覚課題において,学生モデルの特徴表現を評価する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。 最後に、 MuST は数十億のサンプルでトレーニングされた既に強力なチェックポイントを改善することができることを示す。 その結果,一般特徴表現を学習するためにラベル付きおよびラベルなしの訓練データを集約する有望な方向性が示唆された。

関連論文リスト

• Heuristic Vision Pre-Training with Self-Supervised and Supervised Multi-Task Learning [0.0]
  マルチタスク方式で自己教師型と教師型の両方の視覚的プレテキストタスクを採用することで、新しい事前学習フレームワークを提案する。 その結果、事前学習したモデルでは、複数の視覚的タスクにおいて、最先端(SOTA)結果と同等以上の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-11T14:06:04Z)
• Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection [4.9914667450658925]
  実験結果から,マルチタスク学生の学習に不明瞭なデータを持つ弱教師を用いた場合のパフォーマンス向上が示唆された。 限られた設定にもかかわらず、実験結果はマルチタスクの知識蒸留と自己学習の可能性を示していると信じている。
  論文  参考訳（メタデータ） (2023-09-12T14:50:14Z)
• Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training [44.790636524264]
  ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。 シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。 教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:57Z)
• JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition [29.67402932890899]
  マルチデータセットに基づく半教師付き学習手法であるJEDIを提案する。 複数の専門家の知識を効率よく組み合わせ、異なるデータセットで学習し、個々のデータセット毎、学生モデルのパフォーマンスをトレーニングし改善する。
  論文  参考訳（メタデータ） (2023-08-09T13:09:07Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
  トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。 実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
  論文  参考訳（メタデータ） (2021-01-16T23:45:02Z)
• DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
  視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。 ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。 我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。 我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2020-04-28T12:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。