論文の概要: DN-DETR: Accelerate DETR Training by Introducing Query DeNoising

• arxiv url: http://arxiv.org/abs/2203.01305v1
• Date: Wed, 2 Mar 2022 18:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 13:52:41.184225
• Title: DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
• Title（参考訳）: DN-DETR:クエリDenoisingの導入によるDTRトレーニングの高速化
• Authors: Feng Li, Hao Zhang, Shilong Liu, Jian Guo, Lionel M. Ni, Lei Zhang
• Abstract要約: 本稿では,DETR(Detection TRansformer)トレーニングを高速化するための新しいトレーニング手法を提案する。 緩やかな収束は二部グラフマッチングの不安定性に起因することを示す。 提案手法は,トランスフォーマーデコーダにノイズを付加した接地境界ボックスを供給し,元のボックスを再構築するモデルを訓練する。
• 参考スコア（独自算出の注目度）: 20.589146395352714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present in this paper a novel denoising training method to speedup DETR (DEtection TRansformer) training and offer a deepened understanding of the slow convergence issue of DETR-like methods. We show that the slow convergence results from the instability of bipartite graph matching which causes inconsistent optimization goals in early training stages. To address this issue, except for the Hungarian loss, our method additionally feeds ground-truth bounding boxes with noises into Transformer decoder and trains the model to reconstruct the original boxes, which effectively reduces the bipartite graph matching difficulty and leads to a faster convergence. Our method is universal and can be easily plugged into any DETR-like methods by adding dozens of lines of code to achieve a remarkable improvement. As a result, our DN-DETR results in a remarkable improvement ($+1.9$AP) under the same setting and achieves the best result (AP $43.4$ and $48.6$ with $12$ and $50$ epochs of training respectively) among DETR-like methods with ResNet-$50$ backbone. Compared with the baseline under the same setting, DN-DETR achieves comparable performance with $50\%$ training epochs. Code is available at \url{https://github.com/FengLi-ust/DN-DETR}.
• Abstract（参考訳）: 本稿では,detr (detection transformer) トレーニングを高速化する新しいデノイジング訓練法を提案し,detrライクな手法の収束時間の遅い問題を深く理解する。 両部グラフマッチングの不安定性は,初期訓練段階において不整合な最適化目標を生じさせることを示す。 この問題に対処するため,ハンガリーの損失を除いて,本手法はトランスフォーマーデコーダにノイズを付加した接地構造境界ボックスを供給し,元のボックスを再構築するようモデルを訓練することにより,両部グラフマッチングの困難さを効果的に低減し,より高速な収束を実現する。 提案手法は汎用的で,数十行のコードを追加することで,DeTRライクなメソッドに簡単にプラグインできる。 その結果、我々のDN-DETRは、同じ設定で顕著な改善(+1.9$AP)を行い、ResNet-$50$バックボーンを持つDETRライクなメソッドのうち、最高の結果(AP43.4$と48.6$、それぞれ12$と50$のエポック)を達成する。 同じ設定でベースラインと比較すると、DN-DETRは50\%のトレーニングエポックで同等のパフォーマンスを実現している。 コードは \url{https://github.com/FengLi-ust/DN-DETR} で入手できる。

関連論文リスト

• Detection Transformer with Stable Matching [48.963171068785435]
  もっとも重要な設計は, 肯定的な事例の分類スコアを監督するために, 位置測定値のみを使用することである。 本原理では,DTRの分類損失とマッチングコストに位置測定値を統合することで,簡易かつ効果的な2つの修正を提案する。 12エポックおよび24エポックのトレーニング設定の下でResNet-50バックボーンを用いてCOCO検出ベンチマークで50.4および51.5APを達成する。
  論文  参考訳（メタデータ） (2023-04-10T17:55:37Z)
• Efficient Diffusion Training via Min-SNR Weighting Strategy [78.5801305960993]
  拡散学習をマルチタスク学習問題として扱い,Min-SNR-$gamma$と呼ばれるシンプルなアプローチを導入する。 本結果は,従来の重み付け手法よりも3.4$times$高速で収束速度が大幅に向上したことを示す。 さらに効果的で、ImageNetの256times256$ベンチマークで2.06の新たなFIDスコアを達成した。
  論文  参考訳（メタデータ） (2023-03-16T17:59:56Z)
• Robust Few-shot Learning Without Using any Adversarial Samples [19.34427461937382]
  高度なメタラーニング技術を用いて、数発の問題をロバストネスの目的と組み合わせる試みがいくつかなされている。 逆のサンプルを一切必要としない単純で効果的な代替案を提案する。 ヒトの認知的意思決定プロセスにインスパイアされ、ベースクラスデータとそれに対応する低周波サンプルの高レベル特徴マッチングを強制する。
  論文  参考訳（メタデータ） (2022-11-03T05:58:26Z)
• Pair DETR: Contrastive Learning Speeds Up DETR Training [0.6491645162078056]
  本稿では、DreTRの主な問題である緩やかな収束に対処するための簡単なアプローチを提案する。 2つのデコーダを用いて、一対のキーポイント、左上隅、中央としてオブジェクト境界ボックスを検出する。 実験により、Pair DETRは元のDETRより少なくとも10倍早く収束し、トレーニング中にConditional DETRより1.5倍速く収束できることが示された。
  論文  参考訳（メタデータ） (2022-10-29T03:02:49Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Conditional DETR V2: Efficient Detection Transformer with Box Queries [58.9706842210695]
  我々は,NMSなどの手作り後処理を必要としないトランスフォーマーエンコーダデコーダアーキテクチャに基づくエンドツーエンドのオブジェクト検出手法に興味がある。 高速なトレーニング収束を備えた改良されたDETRであるConditional DETRにインスパイアされ、オブジェクトクエリを参照ポイントの埋め込みの合成であるボックスクエリの形式に再構成する。 画像の内容からボックスクエリを学習し、高速なトレーニング収束で条件付きDETRの検出品質をさらに向上する。
  論文  参考訳（メタデータ） (2022-07-18T20:08:55Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。