Fugu-MT 論文翻訳(概要): Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence

論文の概要: Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence

arxiv url: http://arxiv.org/abs/2112.13310v1
Date: Sun, 26 Dec 2021 03:23:59 GMT
ステータス: 処理完了
システム内更新日: 2021-12-29 05:44:33.034652
Title: Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence
Title（参考訳）: Miti-DETR:Mitigatory Self-Attention Convergenceを用いた変換器による物体検出
Authors: Wenchi Ma, Tianxiao Zhang, Guanghui Wang
Abstract要約: 本稿では,緩和的自己認識機構を備えたトランスフォーマーアーキテクチャを提案する。 Miti-DETRは、各注意層の入力をそのレイヤの出力に予約し、「非注意」情報が注意伝播に関与するようにします。 Miti-DETRは、既存のDETRモデルに対する平均検出精度と収束速度を大幅に向上させる。
参考スコア（独自算出の注目度）: 17.854940064699985
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Object Detection with Transformers (DETR) and related works reach or even surpass the highly-optimized Faster-RCNN baseline with self-attention network architectures. Inspired by the evidence that pure self-attention possesses a strong inductive bias that leads to the transformer losing the expressive power with respect to network depth, we propose a transformer architecture with a mitigatory self-attention mechanism by applying possible direct mapping connections in the transformer architecture to mitigate the rank collapse so as to counteract feature expression loss and enhance the model performance. We apply this proposal in object detection tasks and develop a model named Miti-DETR. Miti-DETR reserves the inputs of each single attention layer to the outputs of that layer so that the "non-attention" information has participated in any attention propagation. The formed residual self-attention network addresses two critical issues: (1) stop the self-attention networks from degenerating to rank-1 to the maximized degree; and (2) further diversify the path distribution of parameter update so that easier attention learning is expected. Miti-DETR significantly enhances the average detection precision and convergence speed towards existing DETR-based models on the challenging COCO object detection dataset. Moreover, the proposed transformer with the residual self-attention network can be easily generalized or plugged in other related task models without specific customization.
Abstract（参考訳）: Transformer (DETR) によるオブジェクト検出と関連する作業は、自己アテンションネットワークアーキテクチャを備えた高度に最適化された Faster-RCNN ベースラインに到達または超える。純粋な自己着脱がネットワークの奥行きに対して表現力を失うことにつながる強い帰納的バイアスを持っているという証拠に触発されて,トランスアーキテクチャの直接マッピング接続を応用し,機能表現損失に対抗してモデル性能を向上させることによって,自己着脱機構を緩和したトランスアーキテクチャを提案する。この提案をオブジェクト検出タスクに適用し,Miti-DETRと呼ばれるモデルを開発する。 Miti-DETRは、各注意層の入力をそのレイヤの出力に予約し、「非注意」情報がいかなる注意伝播にも参加するようにする。生成した残余自己照応ネットワークは、(1)自己照応ネットワークがランク1に縮退するのを止め、(2)パラメータ更新の経路分布をさらに多様化し、より注意深い学習が期待できるという2つの重要な課題に対処している。 Miti-DETRはCOCOオブジェクト検出データセット上で既存のDETRモデルに対する平均検出精度と収束速度を大幅に向上させる。さらに, 残差自己着型ネットワークを有するトランスは, 特定のカスタマイズをすることなく, 容易に一般化したり, 他の関連タスクモデルにプラグインすることができる。

関連論文リスト

Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers [5.356051655680145]
本研究は,従来のトランスフォーマーモデルにおけるアテンション機構の動作を模倣するために,標準の浅層フィードフォワードネットワークを用いることの有効性について分析した。我々はトランスフォーマーの注意機構の重要な要素を簡単なフィードフォワードネットワークで置き換え、知識蒸留により元のコンポーネントを用いて訓練する。 IWSLT 2017データセットで実施した実験では,これらの“アテンションレストランスフォーマー(attentionless Transformers)”の能力が,オリジナルのアーキテクチャのパフォーマンスに匹敵することを示した。
論文参考訳（メタデータ） (2023-11-17T16:58:52Z)
Investigating the Robustness and Properties of Detection Transformers (DETR) Toward Difficult Images [1.5727605363545245]
トランスフォーマーベースのオブジェクト検出器(DETR)は、マシンビジョンタスク間で大きな性能を示している。対処すべき重要な問題は、このモデルアーキテクチャがどのように異なるイメージニュアンスを扱うことができるかである。本研究では,DeTRの性能を異なる実験で測定し,ネットワークのベンチマークを行った。
論文参考訳（メタデータ） (2023-10-12T23:38:52Z)
Convolution and Attention Mixer for Synthetic Aperture Radar Image Change Detection [41.38587746899477]
合成開口レーダ(SAR)画像変化検出は重要な課題であり,リモートセンシングコミュニティで注目されている。既存のSAR変化検出法は主に畳み込みニューラルネットワーク(CNN)に基づいているグローバルアテンションを取り入れたコンボリューション・アテンション・ミキサー(CAMixer)を提案する。
論文参考訳（メタデータ） (2023-09-21T12:28:23Z)
SeqCo-DETR: Sequence Consistency Training for Self-Supervised Object Detection with Transformers [18.803007408124156]
本稿では,SeqCo-DETRを提案する。SeqCo-DETR,SeqCo-DETR,SeqCo-DETR,SeqCo-DETR,SeqCo-DETR,SeqCo-DETR,SeqCo-DETR,Sequence Consistency-based self-supervised method for object DEtection with TRansformersを提案する。提案手法は,MS COCO (45.8 AP) とPASCAL VOC (64.1 AP) の最先端化を実現し,本手法の有効性を実証する。
論文参考訳（メタデータ） (2023-03-15T09:36:58Z)
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文参考訳（メタデータ） (2022-05-31T01:19:18Z)
DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文参考訳（メタデータ） (2022-03-27T05:03:56Z)
Oriented Object Detection with Transformer [51.634913687632604]
我々は,エンドツーエンドネットワークに基づくTRansformer(bf O2DETR$)によるオブジェクト指向オブジェクト検出を実装した。注意機構を奥行き分離可能な畳み込みに置き換えることで,トランスフォーマーの簡易かつ高効率なエンコーダを設計する。私たちの$rm O2DETR$は、オブジェクト指向オブジェクト検出の分野における別の新しいベンチマークになり、より高速なR-CNNとRetinaNetに対して最大3.85mAPの改善が達成されます。
論文参考訳（メタデータ） (2021-06-06T14:57:17Z)
DA-DETR: Domain Adaptive Detection Transformer with Information Fusion [53.25930448542148]
DA-DETRは、ラベル付きソースドメインからラベルなしターゲットドメインへの効果的な転送のための情報融合を導入するドメイン適応型オブジェクト検出変換器である。本稿では,CNN機能とトランスフォーマー機能を融合した新しいCNN-Transformer Blender(CTBlender)を提案する。 CTBlenderはTransformer機能を使用して、高レベルの意味情報と低レベルの空間情報が融合した複数のスケールでCNN機能を変調し、正確な物体識別と位置決めを行う。
論文参考訳（メタデータ） (2021-03-31T13:55:56Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
End-to-End Object Detection with Transformers [88.06357745922716]
本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
論文参考訳（メタデータ） (2020-05-26T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。