論文の概要: JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition

• arxiv url: http://arxiv.org/abs/2308.04934v1
• Date: Wed, 9 Aug 2023 13:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 13:43:14.755031
• Title: JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
• Title（参考訳）: JEDI:ビデオ行動認識のための半スーパービジョン・マルチデータセット学習者シナリオにおける共同専門家蒸留
• Authors: Lucian Bicsi, Bogdan Alexe, Radu Tudor Ionescu, Marius Leordeanu
• Abstract要約: マルチデータセットに基づく半教師付き学習手法であるJEDIを提案する。 複数の専門家の知識を効率よく組み合わせ、異なるデータセットで学習し、個々のデータセット毎、学生モデルのパフォーマンスをトレーニングし改善する。
• 参考スコア（独自算出の注目度）: 29.67402932890899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose JEDI, a multi-dataset semi-supervised learning method, which efficiently combines knowledge from multiple experts, learned on different datasets, to train and improve the performance of individual, per dataset, student models. Our approach achieves this by addressing two important problems in current machine learning research: generalization across datasets and limitations of supervised training due to scarcity of labeled data. We start with an arbitrary number of experts, pretrained on their own specific dataset, which form the initial set of student models. The teachers are immediately derived by concatenating the feature representations from the penultimate layers of the students. We then train all models in a student-teacher semi-supervised learning scenario until convergence. In our efficient approach, student-teacher training is carried out jointly and end-to-end, showing that both students and teachers improve their generalization capacity during training. We validate our approach on four video action recognition datasets. By simultaneously considering all datasets within a unified semi-supervised setting, we demonstrate significant improvements over the initial experts.
• Abstract（参考訳）: 本研究では,複数の専門家の知識を効率的に組み合わせ,異なるデータセット上で学習し,個人,データセット,学生モデルのパフォーマンスを訓練し,改善するマルチデータセット半教師付き学習手法であるjediを提案する。 我々のアプローチは、データセット間の一般化とラベル付きデータの不足による教師付きトレーニングの制限という、現在の機械学習研究における2つの重要な問題に対処することで、これを実現する。 まず、学生モデルの初期セットを形成する独自のデータセットで事前訓練された、任意の数の専門家から始めます。 教師は、生徒の最後尾の層から特徴表現を連結することで即座に導出される。 そして、収束するまで、全モデルを学生教師による半教師付き学習シナリオで訓練する。 本研究は,生徒と教師の双方が訓練中に一般化能力を向上させることを示し,生徒と教師の協働による研修を行う。 提案手法を4つのビデオ行動認識データセットで検証する。 すべてのデータセットを統一された半教師付き設定で同時に考慮することで、初期専門家に対する大幅な改善を実証する。

関連論文リスト

• Multi-Level Feature Distillation of Joint Teachers Trained on Distinct Image Datasets [22.341604423831733]
  本研究では,異なるデータセットで学習した複数の教師の知識を抽出する学習支援フレームワークを提案する。 提案手法は, 学生モデルに知識を伝達する多段階的特徴蒸留法を用いて, 検討したデータセットのそれぞれについて検討する。 我々は、新しいMLFD(Multi-Level Feature Distillation)が、個々のデータセットでトレーニングされたり、一度にすべてのデータセットで共同でトレーニングされたりした、同等のアーキテクチャを大幅に超えることを示した。
  論文  参考訳（メタデータ） (2024-10-29T16:23:20Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection [4.9914667450658925]
  実験結果から,マルチタスク学生の学習に不明瞭なデータを持つ弱教師を用いた場合のパフォーマンス向上が示唆された。 限られた設定にもかかわらず、実験結果はマルチタスクの知識蒸留と自己学習の可能性を示していると信じている。
  論文  参考訳（メタデータ） (2023-09-12T14:50:14Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• Multi-Task Self-Training for Learning General Representations [97.01728635294879]
  マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2021-08-25T17:20:50Z)
• Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for Annotation-efficient Cardiac Segmentation [65.81546955181781]
  本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。 学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。 提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-13T10:00:44Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。