論文の概要: FusionNet: Physics-Aware Representation Learning for Multi-Spectral and Thermal Data via Trainable Signal-Processing Priors

• arxiv url: http://arxiv.org/abs/2512.19504v1
• Date: Mon, 22 Dec 2025 15:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.816826
• Title: FusionNet: Physics-Aware Representation Learning for Multi-Spectral and Thermal Data via Trainable Signal-Processing Priors
• Title（参考訳）: FusionNet: トレーニング可能な信号処理プリミティブによる多スペクトル・熱データのための物理認識表現学習
• Authors: Georgios Voulgaris,
• Abstract要約: この研究は、長期の物理過程の安定なシグネチャをモデル化する物理認識表現学習フレームワークを導入する。 提案したバックボーンは、訓練可能な差動信号処理を畳み込み層に埋め込み、混合プーリング戦略を組み合わせて、より広い受容場を利用する。 DGCNNはSWIR比で88.7%、FusionNetは90.6%に達している。
• 参考スコア（独自算出の注目度）: 5.7532749393107645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning models operating on multi-modal visual signals often rely on inductive biases that are poorly aligned with the physical processes governing signal formation, leading to brittle performance under cross-spectral and real-world conditions. In particular, approaches that prioritise direct thermal cues struggle to capture indirect yet persistent environmental alterations induced by sustained heat emissions. This work introduces a physics-aware representation learning framework that leverages multi-spectral information to model stable signatures of long-term physical processes. Specifically, a geological Short Wave Infrared (SWIR) ratio sensitive to soil property changes is integrated with Thermal Infrared (TIR) data through an intermediate fusion architecture, instantiated as FusionNet. The proposed backbone embeds trainable differential signal-processing priors within convolutional layers, combines mixed pooling strategies, and employs wider receptive fields to enhance robustness across spectral modalities. Systematic ablations show that each architectural component contributes to performance gains, with DGCNN achieving 88.7% accuracy on the SWIR ratio and FusionNet reaching 90.6%, outperforming state-of-the-art baselines across five spectral configurations. Transfer learning experiments further show that ImageNet pretraining degrades TIR performance, highlighting the importance of modality-aware training for cross-spectral learning. Evaluated on real-world data, the results demonstrate that combining physics-aware feature selection with principled deep learning architectures yields robust and generalisable representations, illustrating how first-principles signal modelling can improve multi-spectral learning under challenging conditions.
• Abstract（参考訳）: 現代のディープラーニングモデルは、多モードの視覚信号で動くため、信号の形成を管理する物理過程と不整合な帰納バイアスに頼り、スペクトルや実世界の条件下では不安定な性能をもたらす。 特に、直接熱的手がかりを優先するアプローチは、持続的な熱放射によって引き起こされる間接的かつ持続的な環境変化を捉えるのに苦労する。 この研究は、多スペクトル情報を利用して長期的物理過程の安定なシグネチャをモデル化する物理認識表現学習フレームワークを導入する。 具体的には、土壌特性の変化に敏感な地質的短波赤外(SWIR)比を、中間核融合アーキテクチャを通じて熱赤外(TIR)データと統合し、FusionNetとしてインスタンス化する。 提案したバックボーンは、畳み込み層にトレーニング可能な差動信号処理前処理を組み込み、混合プーリング戦略を組み合わせるとともに、スペクトルモダリティ間の堅牢性を高めるためにより広い受容場を利用する。 DGCNNはSWIR比で88.7%、FusionNetは90.6%に達し、5つのスペクトル構成で最先端のベースラインを上回っている。 トランスファーラーニング実験により、ImageNetの事前学習はTIR性能を低下させ、クロススペクトルラーニングにおけるモダリティ認識トレーニングの重要性を強調した。 実世界のデータに基づいて評価した結果,物理認識型特徴選択と原理的深層学習アーキテクチャを組み合わせることで,強靭で汎用的な表現が得られ,第一原理信号モデリングが困難条件下でのマルチスペクトル学習をいかに改善できるかを考察した。

関連論文リスト

• U-PINet: End-to-End Hierarchical Physics-Informed Learning With Sparse Graph Coupling for 3D EM Scattering Modeling [28.64166932076228]
  電磁波散乱モデリングは、レーダーリモートセンシングに不可欠である。 従来の数値解法は精度が高いが、スケーラビリティの問題と計算コストに悩まされている。 これらの制約を克服するために,U字型物理情報ネットワーク (U-PINet) を提案する。
  論文  参考訳（メタデータ） (2025-08-05T12:20:42Z)
• CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations [52.251569042852815]
  CRIAは、可変長および可変チャネルコーディングを使用して、異なるデータセット間でEEGデータの統一表現を実現する適応フレームワークである。 このモデルでは、時間的、スペクトル的、空間的特徴を効果的に融合させるクロスアテンション機構を採用している。 テンプル大学脳波コーパスとCHB-MITデータセットによる実験結果から、CRIAは既存の方法よりも、同じ事前学習条件で優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-19T06:31:08Z)
• Efficient Generative Model Training via Embedded Representation Warmup [12.485320863366411]
  生成モデルは基本的な課題に直面し、高いレベルのセマンティック概念と低レベルの合成の詳細を同時に学ばなければならない。 基本的2相学習フレームワークである組込み表現ワームアップを提案する。 このフレームワークは,REPAのような単一位相法と比較して,FID=1.41に達するために350エポックで11.5$times$の高速化を実現している。
  論文  参考訳（メタデータ） (2025-04-14T12:43:17Z)
• Resource-Efficient Beam Prediction in mmWave Communications with Multimodal Realistic Simulation Framework [57.994965436344195]
  ビームフォーミングは、方向と強度を最適化して信号伝送を改善するミリ波通信において重要な技術である。 マルチモーダルセンシング支援ビーム予測は,ユーザ位置やネットワーク条件を予測するために,さまざまなセンサデータを使用して注目されている。 その有望な可能性にもかかわらず、マルチモーダルセンシング支援ビーム予測の採用は、高い計算複雑性、高いコスト、限られたデータセットによって妨げられている。
  論文  参考訳（メタデータ） (2025-04-07T15:38:25Z)
• Multi-Domain Biometric Recognition using Body Embeddings [51.36007967653781]
  身体埋め込みは中波長赤外線(MWIR)領域と長波長赤外線(LWIR)領域の顔埋め込みよりも優れていた。 我々は、IJB-MDFデータセット上でのベンチマーク結果を確立するために、ビジョントランスフォーマーアーキテクチャを活用している。 また, クロスエントロピーとトリプルト損失の単純な組み合わせで, VISデータにのみ事前訓練された体モデルを微調整することで, 最先端のmAPスコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-13T22:38:18Z)
• Scintillation pulse characterization with spectrum-inspired temporal neural networks: case studies on particle detector signals [1.124958340749622]
  本稿では,時系列解析に関するこれまでの研究に基づいて,シンチレーションパルスのキャラクタリゼーションに特化したネットワークアーキテクチャを提案する。 a)LUXダークマター検出器の設定によって生成されたシミュレーションデータと,(b)高速電子回路を用いた実験電気信号を用いて,NICA/MPD温度計のシンチレーション変動をエミュレートする。
  論文  参考訳（メタデータ） (2024-10-09T02:44:53Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• ChiNet: Deep Recurrent Convolutional Learning for Multimodal Spacecraft Pose Estimation [3.964047152162558]
  本稿では,ランデブーシーケンスからの時間情報を組み込んで,宇宙船の相対的な姿勢を推定する革新的な深層学習パイプラインを提案する。 畳み込みニューラルネットワーク(CNN)バックボーンによって抽出された特徴の処理のために、データのシーケンスをモデル化する上で、LSTM(Long Short-term memory)ユニットのパフォーマンスを活用する。 3つの異なるトレーニング戦略が組み合わさって、特徴学習を容易にし、回帰によるエンドツーエンドのポーズ推定を改善する。
  論文  参考訳（メタデータ） (2021-08-23T16:48:58Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。