論文の概要: Impact of architecture on robustness and interpretability of
multispectral deep neural networks
- arxiv url: http://arxiv.org/abs/2309.12463v1
- Date: Thu, 21 Sep 2023 20:11:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 16:54:06.969609
- Title: Impact of architecture on robustness and interpretability of
multispectral deep neural networks
- Title（参考訳）: 多スペクトル深層ニューラルネットワークのロバスト性と解釈性に及ぼすアーキテクチャの影響
- Authors: Charles Godfrey, Elise Bishoff, Myles McKay and Eleanor Byler
- Abstract要約: 新たなスペクトルバンドの情報を含む視覚指向タスクでは、ディープラーニングモデルのパフォーマンスが向上する。
この追加情報をディープラーニングモデルに組み込む方法は数多くあるが、最適な融合戦略はまだ決定されていない。
本研究では,異なる融合アプローチによる多スペクトル深層学習モデルの性能を特徴付ける。
- 参考スコア（独自算出の注目度）: 1.024113475677323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Including information from additional spectral bands (e.g., near-infrared)
can improve deep learning model performance for many vision-oriented tasks.
There are many possible ways to incorporate this additional information into a
deep learning model, but the optimal fusion strategy has not yet been
determined and can vary between applications. At one extreme, known as "early
fusion," additional bands are stacked as extra channels to obtain an input
image with more than three channels. At the other extreme, known as "late
fusion," RGB and non-RGB bands are passed through separate branches of a deep
learning model and merged immediately before a final classification or
segmentation layer. In this work, we characterize the performance of a suite of
multispectral deep learning models with different fusion approaches, quantify
their relative reliance on different input bands and evaluate their robustness
to naturalistic image corruptions affecting one or more input channels.
- Abstract（参考訳）: 追加のスペクトルバンド(近赤外など)の情報を含むことで、多くの視覚指向タスクでディープラーニングモデルのパフォーマンスが向上する。
この追加情報をディープラーニングモデルに組み込む方法はたくさんあるが、最適な融合戦略はまだ決定されておらず、アプリケーションによって異なる可能性がある。
初期の融合」として知られる極端には、追加のバンドを余分なチャンネルとして積み重ねて、3つ以上のチャンネルを持つ入力画像を得る。
他方の極端では、RGBと非RGBバンドは、深層学習モデルの別々の分岐を通過し、最終分類層や分節層の直前にマージされる。
本研究では、異なる融合アプローチによる多スペクトル深層学習モデルの性能を特徴付け、異なる入力帯域に対する相対的依存を定量化し、1つ以上の入力チャネルに影響を及ぼす自然主義的な画像破壊に対する頑健さを評価する。
関連論文リスト
- A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。
本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。
可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
論文 参考訳（メタデータ） (2024-06-11T09:32:40Z) - Two Approaches to Supervised Image Segmentation [55.616364225463066]
本研究は、深層学習とマルチセットニューロンのアプローチの比較実験を開発する。
ディープラーニングアプローチは、画像セグメンテーションの実行の可能性を確認した。
代替のマルチセット手法では、計算資源をほとんど必要とせずに精度を向上することができた。
論文 参考訳（メタデータ） (2023-07-19T16:42:52Z) - Visible and infrared self-supervised fusion trained on a single example [1.1188842018827656]
マルチスペクトルイメージングは画像処理とコンピュータビジョンにおいて重要な課題である。
近赤外(NIR)画像融合における可視光(RGB)の問題点は特にタイムリである。
提案されたアプローチは、単一の例で自己監視学習(SSL)によって畳み込みニューラルネットワークをトレーニングすることで、これら2つのチャネルを融合させる。
実験により, 提案手法は, 同様の, より質的, 定量的な多スペクトル核融合結果が得られることを示した。
論文 参考訳（メタデータ） (2023-07-09T05:25:46Z) - Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image
Fusion with Diffusion Models [54.952979335638204]
本稿では,Dif-Fusionと呼ばれる拡散モデルを用いて,マルチチャネル入力データの分布を生成する手法を提案する。
我々の手法は、特にカラー忠実度において、他の最先端画像融合法よりも効果的である。
論文 参考訳（メタデータ） (2023-01-19T13:37:19Z) - HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。
我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。
当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
論文 参考訳（メタデータ） (2023-01-18T10:00:59Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-06-07T08:35:41Z) - Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal
Fusion with Depth Guidance [49.94504248096527]
異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。
1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。
我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
論文 参考訳（メタデータ） (2022-04-12T06:06:50Z) - Multi-Scale Feature Fusion: Learning Better Semantic Segmentation for
Road Pothole Detection [9.356003255288417]
本稿では,単一モーダルなセマンティックセグメンテーションに基づく新しいポットホール検出手法を提案する。
まず、畳み込みニューラルネットワークを用いて入力画像から視覚的特徴を抽出する。
チャネルアテンションモジュールは、異なるフィーチャーマップの一貫性を高めるために、チャネル機能を再考する。
論文 参考訳（メタデータ） (2021-12-24T15:07:47Z) - Learning Selective Mutual Attention and Contrast for RGB-D Saliency
Detection [145.4919781325014]
クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。
多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。
本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
論文 参考訳（メタデータ） (2020-10-12T08:50:10Z) - Spectral Analysis Network for Deep Representation Learning and Image
Clustering [53.415803942270685]
本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。
パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。
クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
論文 参考訳（メタデータ） (2020-09-11T05:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。