論文の概要: MiPa: Mixed Patch Infrared-Visible Modality Agnostic Object Detection

• arxiv url: http://arxiv.org/abs/2404.18849v1
• Date: Mon, 29 Apr 2024 16:42:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 12:58:45.681250
• Title: MiPa: Mixed Patch Infrared-Visible Modality Agnostic Object Detection
• Title（参考訳）: MiPa:Mixed Patch Infrared-VisibleModality Agnostic Object Detection
• Authors: Heitor R. Medeiros, David Latortue, Fidel Guerrero Pena, Eric Granger, Marco Pedersoli,
• Abstract要約: 2つのモダリティを使用する別の方法を示し、一方のモダリティまたは他方のモダリティを1つのモデルで見る。 これは、限られた計算予算を尊重しながらより多くの情報を活用するために、ユニモーダルモデルを適用する際に有用である。 新規な非モーダルトレーニング手法「MiPa」について紹介する。
• 参考スコア（独自算出の注目度）: 11.616494893839757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a different way to use two modalities, in which either one modality or the other is seen by a single model. This can be useful when adapting an unimodal model to leverage more information while respecting a limited computational budget. This would mean having a single model that is able to deal with any modalities. To describe this, we coined the term anymodal learning. An example of this, is a use case where, surveillance in a room when the lights are off would be much more valuable using an infrared modality while a visible one would provide more discriminative information when lights are on. This work investigates how to efficiently leverage visible and infrared/thermal modalities for transformer-based object detection backbone to create an anymodal architecture. Our work does not create any inference overhead during the testing while exploring an effective way to exploit the two modalities during the training. To accomplish such a task, we introduce the novel anymodal training technique: Mixed Patches (MiPa), in conjunction with a patch-wise domain agnostic module, which is responsible of learning the best way to find a common representation of both modalities. This approach proves to be able to balance modalities by reaching competitive results on individual modality benchmarks with the alternative of using an unimodal architecture on three different visible-infrared object detection datasets. Finally, our proposed method, when used as a regularization for the strongest modality, can beat the performance of multimodal fusion methods while only requiring a single modality during inference. Notably, MiPa became the state-of-the-art on the LLVIP visible/infrared benchmark. Code: https://github.com/heitorrapela/MiPa
• Abstract（参考訳）: 本稿では,2つのモダリティを用いて,一方のモダリティと他方のモダリティを1つのモデルで見る方法を示す。 これは、限られた計算予算を尊重しながらより多くの情報を活用するために、ユニモーダルモデルを適用する際に有用である。 これは、どんなモダリティにも対処できる単一のモデルを持つことを意味する。 これを説明するために、我々は"nonmodal learning"という言葉を作った。 例えば、照明が点灯している部屋の監視は、赤外線モダリティを使ってより価値の高いものになり、可視光が点灯している時により差別的な情報を提供するユースケースである。 本研究は, 変圧器を用いた物体検出バックボーンにおいて, 可視・赤外・熱的モダリティを効率的に利用し, 任意のアーキテクチャを構築する方法について検討する。 私たちの研究は、トレーニング中の2つのモダリティを効果的に活用する方法を探りながら、テスト中に推論オーバーヘッドを発生させません。 このような課題を達成するために、我々は新しい非モーダルトレーニング手法であるMiPa(Mixed Patches)とパッチワイドなドメイン非依存モジュールを併用して、両方のモダリティの共通表現を見つける最良の方法を学ぶ。 このアプローチは、個別のモダリティベンチマークで競合する結果に到達して、異なる3つの異なる可視赤外線オブジェクト検出データセットでユニモーダルアーキテクチャを使用することによって、モダリティのバランスをとることができることを証明している。 最後に,本提案手法は,最強モダリティの正規化として用いる場合,推論中に単一モダリティしか必要とせず,マルチモーダル融合法の性能に打ち勝つことができる。 特に、MiPaはLLVIPの可視/赤外線ベンチマークの最先端となった。 コード:https://github.com/heitorrapela/MiPa

関連論文リスト

• UniRGB-IR: A Unified Framework for RGB-Infrared Semantic Tasks via Adapter Tuning [17.36726475620881]
  我々は、RGB-IRセマンティックタスクを統合するために、UniRGB-IRと呼ばれる汎用的で効率的なフレームワークを提案する。 よりリッチなRGB-IR機能を事前学習基盤モデルに効率的に導入する新しいアダプタを開発した。 様々なRGB-IRダウンストリームタスクに対する実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:21:57Z)
• Modality Translation for Object Detection Adaptation Without Forgetting Prior Knowledge [11.905387325966311]
  本稿では、RGB画像から抽出した新しいデータに、RGB画像に基づいて訓練された大規模な物体検出モデルを適用することに焦点を当てる。 モーダリティ変換器 (ModTr) を, 大規模モデルを新しいモーダリティに微調整する一般的な手法の代替として提案する。
  論文  参考訳（メタデータ） (2024-04-01T21:28:50Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
  本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。 我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
  論文  参考訳（メタデータ） (2023-02-13T07:09:45Z)
• Students taught by multimodal teachers are superior action recognizers [41.821485757189656]
  エゴセントリックなビデオ理解の焦点は、手動物体の相互作用をモデル化することである。 しかし、RGBフレームを入力として受信する標準モデル -- CNN、ビジョントランスフォーマーなど -- は、オブジェクト検出、光フロー、オーディオなどの追加のモダリティを利用することで、そのパフォーマンスがさらに向上する。 本研究の目的は、RGB画像のみを推論時に入力として使用しながら、そのようなマルチモーダルアプローチの性能を維持することである。
  論文  参考訳（メタデータ） (2022-10-09T19:37:17Z)
• A Strong Transfer Baseline for RGB-D Fusion in Vision Transformers [0.0]
  単視点3Dオブジェクト認識のためのRGB-Dドメインで事前学習したViTを転送するためのレシピを提案する。 我々の適応したViTsは、ワシントン州で95.1%の精度で評価され、このベンチマークで新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-10-03T12:08:09Z)
• Unified Object Detector for Different Modalities based on Vision Transformers [1.14219428942199]
  我々は様々なモードで優れた性能を実現する統一検出器を開発した。 我々の研究は、RGBカメラと深度センサーをシームレスに切り替えるロボット工学の応用シナリオを思い描いている。 我々は,SUN RGB-Dデータセット上での統一モデルの評価を行い,mAP50で類似あるいは良好な性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-03T16:01:04Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Flexible-Modal Face Anti-Spoofing: A Benchmark [66.18359076810549]
  フェース・アンチ・スプーフィング(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を担っている。 第一のフレキシブル・モーダルなFASベンチマークを原則として確立しました。 また、フレキシブルモーダルFASのための一般的な深層モデルと特徴融合戦略についても検討する。
  論文  参考訳（メタデータ） (2022-02-16T16:55:39Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。