論文の概要: Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are
Better Continual Learners
- arxiv url: http://arxiv.org/abs/2201.04924v1
- Date: Thu, 13 Jan 2022 12:41:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-14 13:52:55.204072
- Title: Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are
Better Continual Learners
- Title(参考訳): ICCV 2021 Challenge SSLAD-Track3B: トランスフォーマーは継続的な学習者より優れている
- Authors: Duo Li, Guimei Cao, Yunlu Xu, Zhanzhan Cheng and Yi Niu
- Abstract要約: 畳み込みニューラルネットワークに比べて、トランスフォーマーは破滅的な忘れ込みに悩まされることがわかりました。
本手法はSSLAD-Track 3Bチャレンジテストセット上で70.78mAPを達成する。
- 参考スコア(独自算出の注目度): 30.120342922333812
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In the SSLAD-Track 3B challenge on continual learning, we propose the method
of COntinual Learning with Transformer (COLT). We find that transformers suffer
less from catastrophic forgetting compared to convolutional neural network. The
major principle of our method is to equip the transformer based feature
extractor with old knowledge distillation and head expanding strategies to
compete catastrophic forgetting. In this report, we first introduce the overall
framework of continual learning for object detection. Then, we analyse the key
elements' effect on withstanding catastrophic forgetting in our solution. Our
method achieves 70.78 mAP on the SSLAD-Track 3B challenge test set.
- Abstract(参考訳): 連続学習におけるSSLAD-Track 3Bチャレンジでは,Continual Learning with Transformer (COLT) の手法を提案する。
畳み込みニューラルネットワークに比べて、トランスフォーマーは壊滅的な忘れに苦しむことがわかりました。
提案手法の主な原理は,変圧器を用いた特徴抽出器に古い知識蒸留と,破滅的忘れを競うための頭部拡大戦略を装備することである。
本稿では,まず,オブジェクト検出のための連続学習のフレームワークについて紹介する。
そして, 解の破滅的忘れ方に対する重要な要素の影響を解析した。
本手法はSSLAD-Track 3Bチャレンジテストセット上で70.78mAPを達成する。
関連論文リスト
- Power Transformer Fault Prediction Based on Knowledge Graphs [9.690455133923667]
広範なフォールトデータの不足により、機械学習技術を効果的に適用することは困難である。
我々は,知識グラフ(KG)技術と勾配向上決定木(GBDT)を併用した新しい手法を提案する。
本手法は, 変圧器の故障や過去の運用データに影響を及ぼす様々な要因を統合することで, 少数の高次元データから効率的に学習できるように設計されている。
論文 参考訳(メタデータ) (2024-02-11T19:14:28Z) - From Coarse to Fine: Efficient Training for Audio Spectrogram
Transformers [16.90294414874585]
粗粒化モデルと変圧器モデルとの結合による音声スペクトログラム変換器の多相学習を提案する。
これらの手法の1つを利用することで、トランスフォーマーモデルは初期段階の低解像度(粗い)データから学習し、その後、カリキュラム学習戦略において高解像度のデータで微調整される。
論文 参考訳(メタデータ) (2024-01-16T14:59:37Z) - COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action
Spotting using Transformers [1.894259749028573]
動作スポッティングのためのトランスフォーマーを初期化する新しいパイプラインであるCOMEDIANを提案する。
この結果から,非事前学習モデルと比較して,性能の向上や収束の高速化など,事前学習パイプラインのメリットを浮き彫りにしている。
論文 参考訳(メタデータ) (2023-09-03T20:50:53Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳(メタデータ) (2023-06-26T17:58:50Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。
本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。
その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2021-11-22T18:59:15Z) - Transformer for Polyp Detection [6.53037835651151]
検出トラックの深層学習ネットワークの評価を行った。
基底真理はマスクであるため、現在の検出法とセグメンテーション法の両方を試すことができる。
論文 参考訳(メタデータ) (2021-10-14T11:58:57Z) - ViDT: An Efficient and Effective Fully Transformer-based Object Detector [97.71746903042968]
検出変換器は、オブジェクト検出のための最初のエンドツーエンド学習システムである。
視覚変換器は、画像分類のための最初の完全変換器ベースのアーキテクチャである。
本稿では、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
論文 参考訳(メタデータ) (2021-10-08T06:32:05Z) - Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。
そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。
提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文 参考訳(メタデータ) (2021-03-30T16:19:27Z) - Understanding the Difficulty of Training Transformers [120.99980924577787]
バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。
我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
論文 参考訳(メタデータ) (2020-04-17T13:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。