論文の概要: Multimodal Fusion Strategies for Mapping Biophysical Landscape Features

• arxiv url: http://arxiv.org/abs/2410.04833v1
• Date: Mon, 7 Oct 2024 08:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:38:08.425936
• Title: Multimodal Fusion Strategies for Mapping Biophysical Landscape Features
• Title（参考訳）: 生物物理景観特徴のマッピングのためのマルチモーダル核融合戦略
• Authors: Lucia Gordon, Nico Lang, Catherine Ressijac, Andrew Davies,
• Abstract要約: 本研究では,空間的に整列したオルソモザイクのデータセットを用いて,熱,RGB,LiDAR画像の融合を行う3つの手法について検討する。 我々は,アフリカのサバンナ生態系における3つの生態学的に関連のある景観の特徴,すなわちサイ,シロアリマウンド,水を地図化することを目的としている。 全体として、これらの3つの手法はマクロ平均性能を持ち、後期核融合は0.698のAUCを達成するが、クラスごとのパフォーマンスは強く異なる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal aerial data are used to monitor natural systems, and machine learning can significantly accelerate the classification of landscape features within such imagery to benefit ecology and conservation. It remains under-explored, however, how these multiple modalities ought to be fused in a deep learning model. As a step towards filling this gap, we study three strategies (Early fusion, Late fusion, and Mixture of Experts) for fusing thermal, RGB, and LiDAR imagery using a dataset of spatially-aligned orthomosaics in these three modalities. In particular, we aim to map three ecologically-relevant biophysical landscape features in African savanna ecosystems: rhino middens, termite mounds, and water. The three fusion strategies differ in whether the modalities are fused early or late, and if late, whether the model learns fixed weights per modality for each class or generates weights for each class adaptively, based on the input. Overall, the three methods have similar macro-averaged performance with Late fusion achieving an AUC of 0.698, but their per-class performance varies strongly, with Early fusion achieving the best recall for middens and water and Mixture of Experts achieving the best recall for mounds.
• Abstract（参考訳）: マルチモーダル空中データは自然システムを監視するために使用され、機械学習はこれらの画像内の景観の特徴の分類を著しく加速させ、生態学と保全に役立てることができる。 しかし、これらの複数のモダリティが深層学習モデルでどのように融合されるべきなのかは、まだ解明されていない。 このギャップを埋めるためのステップとして、これらの3つのモードにおける空間整列整列のデータセットを用いて、熱、RGB、LiDAR画像の融合のための3つの戦略(Early fusion, Late fusion, Mixture of Experts)について検討する。 特に,アフリカのサバンナ生態系における3つの生態学的生態学的景観の特徴(サイ,シロアリマウンド,水)を地図化することを目的としている。 3つの融合戦略は、モダリティが早期または後期に融合されるか、モデルが各クラスのモダリティ毎の固定重みを学習するか、または入力に基づいて各クラスの重みを適応的に生成するかで異なる。 全体としては、後期核融合は0.698のAUCを達成するが、初期核融合はミッドデンと水で最高のリコールを達成し、エキスパートの混合はマウンドで最高のリコールを達成している。

関連論文リスト

• Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.634579989129392]
  本稿では,オミックデータを早期と後期の両方で統合する2重融合フレームワークを提案する。 初期の融合段階では、オミック埋め込みはパッチワイドの潜伏空間に投影され、オミック-WSI埋め込みを生成する。 後期核融合期には、スライドレベルのOmic-WSI埋め込みを融合することにより、オミックデータを再導入する。
  論文  参考訳（メタデータ） (2024-11-26T13:25:53Z)
• Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective [26.391161934274876]
  LiDAR-カメラ融合モデルには、自律運転における高度な3Dオブジェクト検出タスクがある。 霧、雨、雪、日光といった 一般的な悪天候に対する頑丈さは 未発見のままです 本稿では,核融合モデルの堅牢性を高めるために,簡潔かつ実用的な核融合戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-05T05:38:50Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• Sparse Dense Fusion for 3D Object Detection [24.288662560178334]
  カメラ-LiDAR融合は3Dオブジェクト検出で人気を博している。 我々は,1)3次元の幾何学的先行情報を保持するが,カメラからリッチな意味情報を失うこと,2)密度のみの代替手段が意味的連続性を保持すること,そして,LiDARの正確な幾何学的情報を見逃すこと,の2つの課題を分析する。 本稿では,Sparse Dense Fusion(SDF)を提案する。Sparse Dense Fusion(SDF)は,Transformerアーキテクチャを通じて,スパースフュージョンと高密度フュージョンモジュールの両方を組み込んだ補完的なフレームワークである。
  論文  参考訳（メタデータ） (2023-04-09T07:10:34Z)
• Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation [53.94265240561697]
  知識抽出による自己異種統合(SHIKE)と呼ばれるMoEに基づく新しい手法を提案する。 SHIKEはCIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, Places-LTで56.3%, 60.3%, 75.4%, 41.9%の最先端性能を達成した。
  論文  参考訳（メタデータ） (2023-04-03T18:13:39Z)
• EBM Life Cycle: MCMC Strategies for Synthesis, Defense, and Density Modeling [116.10821733517976]
  本研究は, MCMCサンプリング軌道の所望の長さに応じて, エネルギーベースモデル(EBM)を学習するための戦略を提案する。 1)画像生成のためのショートランサンプリング,2)原則に依存しない対角防御のためのミッドランサンプリング,3)画像確率密度の未変更モデリングのためのロングランサンプリング,である。
  論文  参考訳（メタデータ） (2022-05-24T17:52:29Z)
• Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
  本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2021-02-14T06:44:47Z)
• Deep learning for lithological classification of carbonate rock micro-CT images [52.77024349608834]
  本研究は,ブラジルのプリサルト炭酸塩岩微視的画像のパターン同定にディープラーニング技術を適用することを目的としている。 4つの畳み込みニューラルネットワークモデルが提案された。 精度によると、リサイズ画像で訓練されたモデル2は、最初の評価アプローチでは平均75.54%、2番目の評価では平均81.33%に達した。
  論文  参考訳（メタデータ） (2020-07-30T19:14:00Z)
• Spatiotemporal Fusion in 3D CNNs: A Probabilistic View [129.84064609199663]
  そこで我々は,時間的融合戦略の成功を確率に変換することを提案する。これにより,個別に訓練することなく,様々な融合戦略のネットワークレベルの評価を行うことができる。 本手法は時間融合解析の効率を大幅に向上させる。 我々は4つの精密な行動認識データセット上で最先端の性能を達成するための新たな融合戦略を生成する。
  論文  参考訳（メタデータ） (2020-04-10T10:40:35Z)
• Classification of Hyperspectral and LiDAR Data Using Coupled CNNs [39.55503477017984]
  本稿では,2つの結合畳み込みニューラルネットワーク(CNN)を用いた高スペクトル・光検出・追跡(LiDAR)データを融合する効率的なフレームワークを提案する。 1つのCNNは、ハイパースペクトルデータからスペクトル空間の特徴を学習するために設計され、もう1つは、LiDARデータから標高情報を取得するために使用される。 融合相では、これらの不均一な特徴を統合するために、特徴レベルと決定レベルの融合法が同時に使用される。
  論文  参考訳（メタデータ） (2020-02-04T06:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。