論文の概要: ReDFeat: Recoupling Detection and Description for Multimodal Feature Learning

• arxiv url: http://arxiv.org/abs/2205.07439v1
• Date: Mon, 16 May 2022 04:24:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 13:57:32.948832
• Title: ReDFeat: Recoupling Detection and Description for Multimodal Feature Learning
• Title（参考訳）: ReDFeat:マルチモーダル特徴学習のための再結合検出と記述
• Authors: Yuxin Deng and Jiayi Ma
• Abstract要約: 我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。 本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。 我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 51.07496081296863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep-learning-based local feature extraction algorithms that combine detection and description have made significant progress in visible image matching. However, the end-to-end training of such frameworks is notoriously unstable due to the lack of strong supervision of detection and the inappropriate coupling between detection and description. The problem is magnified in cross-modal scenarios, in which most methods heavily rely on the pre-training. In this paper, we recouple independent constraints of detection and description of multimodal feature learning with a mutual weighting strategy, in which the detected probabilities of robust features are forced to peak and repeat, while features with high detection scores are emphasized during optimization. Different from previous works, those weights are detached from back propagation so that the detected probability of indistinct features would not be directly suppressed and the training would be more stable. Moreover, we propose the Super Detector, a detector that possesses a large receptive field and is equipped with learnable non-maximum suppression layers, to fulfill the harsh terms of detection. Finally, we build a benchmark that contains cross visible, infrared, near-infrared and synthetic aperture radar image pairs for evaluating the performance of features in feature matching and image registration tasks. Extensive experiments demonstrate that features trained with the recoulped detection and description, named ReDFeat, surpass previous state-of-the-arts in the benchmark, while the model can be readily trained from scratch.
• Abstract（参考訳）: 検出と記述を組み合わせた深層学習に基づく局所特徴抽出アルゴリズムは、画像マッチングに大きな進歩をもたらした。 しかし、このようなフレームワークのエンドツーエンドのトレーニングは、検出の強い監督の欠如と、検出と記述の間の不適切な結合のため、非常に不安定である。 問題は、ほとんどのメソッドが事前トレーニングに大きく依存する、クロスモーダルなシナリオで拡大されます。 本稿では,ロバスト特徴量の検出確率をピーク・繰り返しにし,高い検出スコアを有する特徴を最適化中に強調する,相互重み付け戦略を用いて,マルチモーダル特徴学習の検出と記述に関する独立した制約を解消する。 以前の研究と異なり、これらの重量は後方伝播から切り離され、検出された不明瞭な特徴の確率は直接抑制されず、訓練はより安定する。 さらに,大きな受容場を有し,学習可能な非最大抑制層を備える検出器であるスーパー検出器を提案する。 最後に,交差可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築し,特徴マッチングと画像登録タスクの性能評価を行う。 大規模な実験では、ReDFeatという名前の、再コールされた検出と記述でトレーニングされた機能が、ベンチマークの過去の最先端を上回り、モデルはスクラッチから容易にトレーニングできることを示した。

関連論文リスト

• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Infrared Small Target Detection Using Double-Weighted Multi-Granularity Patch Tensor Model With Tensor-Train Decomposition [6.517559383143804]
  本稿では,DWMGIPT(Double-weighted multi-granularity infrared patch tensor)モデルを提案する。 提案アルゴリズムはノイズや異なるシーンに対して堅牢である。
  論文  参考訳（メタデータ） (2023-10-09T02:17:31Z)
• MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection [81.59191603867586]
  シークエンシャルディープフェイク検出は、回復のための正しいシーケンスで偽の顔領域を特定することを目的としている。 偽画像の復元には、逆変換を実装するための操作モデルの知識が必要である。 顔画像の空間スケールや逐次順列化を扱うマルチコラボレーション・マルチスーパービジョンネットワーク(MMNet)を提案する。
  論文  参考訳（メタデータ） (2023-07-06T02:32:08Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Adversarially-Aware Robust Object Detector [85.10894272034135]
  本稿では,ロバスト検出器 (RobustDet) を提案する。 本モデルは, クリーン画像の検出能力を維持しながら, 傾きを効果的に解き, 検出堅牢性を著しく向上させる。
  論文  参考訳（メタデータ） (2022-07-13T13:59:59Z)
• Decoupling Makes Weakly Supervised Local Feature Better [39.17900986173409]
  本稿では,弱教師付き局所的特徴学習に適した非結合型記述型検出パイプラインを提案する。 パイプライン内では、検出ステップが記述ステップから切り離され、差別的で堅牢な記述子が学習されるまで延期される。 さらに,カメラのポーズ情報を明確に利用して記述子学習を改善するために,ライン・ツー・ウインドウ検索方式を導入する。
  論文  参考訳（メタデータ） (2022-01-08T16:51:02Z)
• Unsupervised Change Detection in Hyperspectral Images using Feature Fusion Deep Convolutional Autoencoders [15.978029004247617]
  本研究の目的は,機能融合深部畳み込みオートエンコーダを用いた特徴抽出システムの構築である。 提案手法は,全データセットの教師なし変更検出において,工法の状態よりも明らかに優れていた。
  論文  参考訳（メタデータ） (2021-09-10T16:52:31Z)
• Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
  現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。 フェースフォージェリ検出に高周波雑音を用いることを提案する。 1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。 2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
  論文  参考訳（メタデータ） (2021-03-23T08:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。