Fugu-MT 論文翻訳(概要): Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners

論文の概要: Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners

arxiv url: http://arxiv.org/abs/2201.04924v1
Date: Thu, 13 Jan 2022 12:41:36 GMT
ステータス: 処理完了
システム内更新日: 2022-01-14 13:52:55.204072
Title: Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners
Title（参考訳）: ICCV 2021 Challenge SSLAD-Track3B: トランスフォーマーは継続的な学習者より優れている
Authors: Duo Li, Guimei Cao, Yunlu Xu, Zhanzhan Cheng and Yi Niu
Abstract要約: 畳み込みニューラルネットワークに比べて、トランスフォーマーは破滅的な忘れ込みに悩まされることがわかりました。本手法はSSLAD-Track 3Bチャレンジテストセット上で70.78mAPを達成する。
参考スコア（独自算出の注目度）: 30.120342922333812
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In the SSLAD-Track 3B challenge on continual learning, we propose the method of COntinual Learning with Transformer (COLT). We find that transformers suffer less from catastrophic forgetting compared to convolutional neural network. The major principle of our method is to equip the transformer based feature extractor with old knowledge distillation and head expanding strategies to compete catastrophic forgetting. In this report, we first introduce the overall framework of continual learning for object detection. Then, we analyse the key elements' effect on withstanding catastrophic forgetting in our solution. Our method achieves 70.78 mAP on the SSLAD-Track 3B challenge test set.
Abstract（参考訳）: 連続学習におけるSSLAD-Track 3Bチャレンジでは,Continual Learning with Transformer (COLT) の手法を提案する。畳み込みニューラルネットワークに比べて、トランスフォーマーは壊滅的な忘れに苦しむことがわかりました。提案手法の主な原理は,変圧器を用いた特徴抽出器に古い知識蒸留と,破滅的忘れを競うための頭部拡大戦略を装備することである。本稿では,まず,オブジェクト検出のための連続学習のフレームワークについて紹介する。そして, 解の破滅的忘れ方に対する重要な要素の影響を解析した。本手法はSSLAD-Track 3Bチャレンジテストセット上で70.78mAPを達成する。

関連論文リスト

One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
論文参考訳（メタデータ） (2024-11-16T16:12:42Z)
Adversarial Robustness of In-Context Learning in Transformers for Linear Regression [23.737606860443705]
本研究は,線形回帰タスクの設定に焦点をあてたテキストハイザック攻撃に対するトランスフォーマにおける文脈内学習の脆弱性について検討する。まず,一層線形変圧器が非破壊的であり,任意の予測を出力できることを示す。次に, 逆行訓練は, ファインタニング時にのみ適用しても, ハイジャック攻撃に対するトランスフォーマーの堅牢性を高めることを実証する。
論文参考訳（メタデータ） (2024-11-07T21:25:58Z)
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers [111.78179839856293]
オフライン強化学習(RL)のための魅力的なパラダイムとして、決定変換器が登場している。オンラインの意思決定の微調整は驚くほど過小評価されている。 ODTの微調整プロセスにTD3勾配を加えるだけで、ODTのオンライン微調整性能が向上することがわかった。
論文参考訳（メタデータ） (2024-10-31T16:38:51Z)
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners [19.579098962615795]
FSCIL(Few-Shot Class Incremental Learning)は、クラスごとにいくつかのサンプルしか与えられていないことを忘れずに、新しいクラスを漸進的に学習するモデルを必要とするタスクである。 FSCILは2つの大きな課題に直面している。大規模なデータセットで事前訓練された視覚や言語変換器のような大規模モデルは、数発のインクリメンタル学習者には優れていると我々は主張する。
論文参考訳（メタデータ） (2024-04-02T17:23:22Z)
Power Transformer Fault Prediction Based on Knowledge Graphs [9.690455133923667]
広範なフォールトデータの不足により、機械学習技術を効果的に適用することは困難である。我々は,知識グラフ(KG)技術と勾配向上決定木(GBDT)を併用した新しい手法を提案する。本手法は, 変圧器の故障や過去の運用データに影響を及ぼす様々な要因を統合することで, 少数の高次元データから効率的に学習できるように設計されている。
論文参考訳（メタデータ） (2024-02-11T19:14:28Z)
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers [1.894259749028573]
動作スポッティングのためのトランスフォーマーを初期化する新しいパイプラインであるCOMEDIANを提案する。この結果から,非事前学習モデルと比較して,性能の向上や収束の高速化など,事前学習パイプラインのメリットを浮き彫りにしている。
論文参考訳（メタデータ） (2023-09-03T20:50:53Z)
Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文参考訳（メタデータ） (2023-06-26T17:58:50Z)
Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文参考訳（メタデータ） (2023-05-26T00:43:02Z)
Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2021-11-22T18:59:15Z)
Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文参考訳（メタデータ） (2021-03-30T16:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。