論文の概要: ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for
Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery
- arxiv url: http://arxiv.org/abs/2310.16212v1
- Date: Tue, 24 Oct 2023 22:01:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 18:00:03.107038
- Title: ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for
Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery
- Title（参考訳）: シャドウセンス:RGB熱ドローン画像からのシャドウ非依存樹冠検出のための教師なしドメイン適応と特徴融合
- Authors: Rudraksh Kapil, Seyed Mojtaba Marvasti-Zadeh, Nadir Erbilgin, Nilanjan
Ray
- Abstract要約: 本稿では,リモートセンシングデータから木冠の影を検出する新しい手法を提案する。
提案手法(ShadowSense)は完全に自己教師型であり,ソースドメインアノテーションを使わずにドメインの敵対的トレーニングを活用する。
その後、両モードの相補的な情報を融合し、RGBで訓練された検出器の予測を効果的に改善する。
- 参考スコア（独自算出の注目度）: 7.2038295985918825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate detection of individual tree crowns from remote sensing data poses a
significant challenge due to the dense nature of forest canopy and the presence
of diverse environmental variations, e.g., overlapping canopies, occlusions,
and varying lighting conditions. Additionally, the lack of data for training
robust models adds another limitation in effectively studying complex forest
conditions. This paper presents a novel method for detecting shadowed tree
crowns and provides a challenging dataset comprising roughly 50k paired
RGB-thermal images to facilitate future research for illumination-invariant
detection. The proposed method (ShadowSense) is entirely self-supervised,
leveraging domain adversarial training without source domain annotations for
feature extraction and foreground feature alignment for feature pyramid
networks to adapt domain-invariant representations by focusing on visible
foreground regions, respectively. It then fuses complementary information of
both modalities to effectively improve upon the predictions of an RGB-trained
detector and boost the overall accuracy. Extensive experiments demonstrate the
superiority of the proposed method over both the baseline RGB-trained detector
and state-of-the-art techniques that rely on unsupervised domain adaptation or
early image fusion. Our code and data are available:
https://github.com/rudrakshkapil/ShadowSense
- Abstract（参考訳）: リモートセンシングデータから個々の樹冠の正確な検出は、森林天蓋の密集した性質と、重複する天蓋、閉塞、および様々な照明条件など様々な環境変化の存在により、大きな課題となる。
さらに、ロバストモデルのトレーニングのためのデータ不足は、複雑な森林条件を効果的に研究する上で、別の制限を加える。
本稿では,新しい陰影樹冠検出法を提案し,約50k対のrgb熱画像を含む難解なデータセットを提供する。
提案手法(ShadowSense)は完全に自己教師型であり,特徴抽出のためのソースドメインアノテーションと,特徴ピラミッドネットワークのための前景特徴アライメントを使わずに,それぞれ目に見える前景領域に着目してドメイン不変表現を適応させる。
そして、両方のモードの補完情報を融合し、rgbで訓練された検出器の予測を効果的に改善し、全体的な精度を高める。
広汎な実験は、ベースラインRGB訓練検出器と、教師なし領域適応や早期画像融合に依存する最先端技術の両方よりも提案手法が優れていることを示す。
私たちのコードとデータは、https://github.com/rudrakshkapil/ShadowSense.comで利用可能です。
関連論文リスト
- Test-Time Intensity Consistency Adaptation for Shadow Detection [35.03354405371279]
TICAは、テスト時間適応時の光強度情報を利用して、影検出精度を高める新しいフレームワークである。
基本的なエンコーダ・デコーダモデルは、最初はシャドー検出のためのラベル付きデータセットでトレーニングされる。
テストフェーズでは、一貫した強度予測を行うことで、各テストサンプルに対してネットワークを調整する。
論文 参考訳（メタデータ） (2024-10-10T08:08:32Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Towards Privacy-Supporting Fall Detection via Deep Unsupervised
RGB2Depth Adaptation [31.097512110625964]
転倒検知は、システムが警告をトリガーし、転倒を経験した場合の迅速な介入を可能にするため、健康モニタリングにおいて重要なタスクである。
本稿では,RGB学習モデルを奥行き領域に適用可能なプライバシ支援ソリューションを提案する。
本稿では,ラベル付きRGBデータと未ラベル深度データを活用する,教師なしRGB to Depth (RGB2Depth) クロスモーダルドメイン適応手法を提案する。
論文 参考訳（メタデータ） (2023-08-23T10:35:37Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳（メタデータ） (2023-07-28T04:36:07Z) - ReDFeat: Recoupling Detection and Description for Multimodal Feature
Learning [51.07496081296863]
我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。
本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。
我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
論文 参考訳（メタデータ） (2022-05-16T04:24:22Z) - Pyramidal Attention for Saliency Detection [30.554118525502115]
本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。
ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。
我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
論文 参考訳（メタデータ） (2022-04-14T06:57:46Z) - Consistent Depth Prediction under Various Illuminations using Dilated
Cross Attention [1.332560004325655]
我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。
異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。
提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
論文 参考訳（メタデータ） (2021-12-15T10:02:46Z) - Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using
Meta-Learning [64.92447072894055]
赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。
既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。
KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
論文 参考訳（メタデータ） (2021-10-07T02:28:18Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z) - Progressively Guided Alternate Refinement Network for RGB-D Salient
Object Detection [63.18846475183332]
我々は,RGB-Dの高次物体検出のための効率的かつコンパクトなディープネットワークを開発することを目指している。
そこで本研究では,改良のための改良ネットワークを提案する。
我々のモデルは、既存の最先端のアプローチよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-08-17T02:55:06Z) - UC-Net: Uncertainty Inspired RGB-D Saliency Detection via Conditional
Variational Autoencoders [81.5490760424213]
データラベリングプロセスから学習することで、RGB-Dサリエンシ検出に不確実性を利用するための第1のフレームワーク(UCNet)を提案する。
そこで本研究では,サリエンシデータラベリングにヒントを得て,確率的RGB-Dサリエンシ検出ネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-13T04:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。