論文の概要: Rethinking Early-Fusion Strategies for Improved Multispectral Object Detection

• arxiv url: http://arxiv.org/abs/2405.16038v1
• Date: Sat, 25 May 2024 03:19:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:29:38.744957
• Title: Rethinking Early-Fusion Strategies for Improved Multispectral Object Detection
• Title（参考訳）: 改良型マルチスペクトル物体検出のための早期融合戦略の再考
• Authors: Xue Zhang, Si-Yuan Cao, Fang Wang, Runmin Zhang, Zhe Wu, Xiaohan Zhang, Xiaokai Bai, Hui-Liang Shen,
• Abstract要約: 最近のマルチスペクトル物体検出器では、RGBや熱画像から特徴を抽出するために2分岐構造を採用している。 2分岐構造は単分岐構造よりも優れた性能を達成するが、推論効率は見落としている。 本稿では,新しい形状優先早期融合戦略,弱教師付き学習法,コア知識蒸留技術などに対応する手法を提案する。
• 参考スコア（独自算出の注目度）: 21.591263561196545
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most recent multispectral object detectors employ a two-branch structure to extract features from RGB and thermal images. While the two-branch structure achieves better performance than a single-branch structure, it overlooks inference efficiency. This conflict is increasingly aggressive, as recent works solely pursue higher performance rather than both performance and efficiency. In this paper, we address this issue by improving the performance of efficient single-branch structures. We revisit the reasons causing the performance gap between these structures. For the first time, we reveal the information interference problem in the naive early-fusion strategy adopted by previous single-branch structures. Besides, we find that the domain gap between multispectral images, and weak feature representation of the single-branch structure are also key obstacles for performance. Focusing on these three problems, we propose corresponding solutions, including a novel shape-priority early-fusion strategy, a weakly supervised learning method, and a core knowledge distillation technique. Experiments demonstrate that single-branch networks equipped with these three contributions achieve significant performance enhancements while retaining high efficiency. Our code will be available at \url{https://github.com/XueZ-phd/Efficient-RGB-T-Early-Fusion-Detection}.
• Abstract（参考訳）: 最近のマルチスペクトル物体検出器では、RGBや熱画像から特徴を抽出するために2分岐構造を採用している。 2分岐構造は単分岐構造よりも優れた性能を達成するが、推論効率は見落としている。 この対立はますます積極的になり、最近の研究はパフォーマンスと効率の両方よりもパフォーマンスの向上を追求している。 本稿では,効率的な単分岐構造の性能を向上させることでこの問題に対処する。 これらの構造間の性能差の原因を再検討する。 従来の単一ブランチ構造で採用されていた単純早期融合戦略における情報干渉問題について初めて明らかにする。 さらに,マルチスペクトル像間の領域ギャップや単一ブランチ構造の弱い特徴表現も性能上の重要な障害であることがわかった。 本稿では,これら3つの問題に着目し,新しい形状優先早期融合戦略,弱教師付き学習法,コア知識蒸留技術などに対応する手法を提案する。 これらの3つのコントリビューションを備えたシングルブランチネットワークは、高い効率を維持しつつ、大幅な性能向上を実現していることを示す実験である。 我々のコードは \url{https://github.com/XueZ-phd/Efficient-RGB-T-Early-Fusion-Detection} で利用可能です。

関連論文リスト

• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
  マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• Neural Network Compression by Joint Sparsity Promotion and Redundancy Reduction [4.9613162734482215]
  本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。 いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
  論文  参考訳（メタデータ） (2022-10-14T01:34:49Z)
• Simple Contrastive Graph Clustering [41.396185271303956]
  既存の手法を改善するための単純なコントラストグラフクラスタリング(SCGC)アルゴリズムを提案する。 我々のアルゴリズムは、最近のコントラストの高いディープクラスタリング競合よりも、平均して7倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2022-05-11T06:45:19Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• Hierarchical Residual Attention Network for Single Image Super-Resolution [2.0571256241341924]
  本稿では,残差特徴と注意集約の効率的な手法に基づく新しい軽量超解像モデルを提案する。 提案アーキテクチャは,比較的少ない計算量とメモリフットプリントを維持しながら,いくつかのデータセットにおける最先端性能を上回る。
  論文  参考訳（メタデータ） (2020-12-08T17:24:28Z)
• Theory-Inspired Path-Regularized Differential Network Architecture Search [206.93821077400733]
  差分アーキテクチャサーチ(DARTS)における高速ネットワーク最適化に対するスキップ接続の影響と,他のタイプの操作に対する競争上の優位性について検討する。 i)操作間の不当競争を避けるために各操作に導入された差分群構造スパース二乗ゲートと,(ii)浅部より収束する深部アーキテクチャの探索を誘導するために用いられる経路深度正規化の2つの主要なモジュールからなる理論に着想を得た経路規則化DARTSを提案する。
  論文  参考訳（メタデータ） (2020-06-30T05:28:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。