論文の概要: Exploring Multi-modal Neural Scene Representations With Applications on Thermal Imaging
- arxiv url: http://arxiv.org/abs/2403.11865v1
- Date: Mon, 18 Mar 2024 15:18:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 20:00:12.469297
- Title: Exploring Multi-modal Neural Scene Representations With Applications on Thermal Imaging
- Title（参考訳）: 熱画像を用いたマルチモーダルニューラルシーン表現の探索
- Authors: Mert Özer, Maximilian Weiherer, Martin Hundhausen, Bernhard Egger,
- Abstract要約: 我々は、RGB以外の2次モードをNeRFに組み込むための4つの戦略を提案する。
放射能の点でRGBと大きく異なるため,熱画像は第2のモダリティとして選択した。
以上の結果から,第2分枝をNeRFに付加することは熱画像の新規なビュー合成に最適であり,かつRGBに有意な結果をもたらすことが判明した。
- 参考スコア（独自算出の注目度）: 4.780283142269005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRFs) quickly evolved as the new de-facto standard for the task of novel view synthesis when trained on a set of RGB images. In this paper, we conduct a comprehensive evaluation of neural scene representations, such as NeRFs, in the context of multi-modal learning. Specifically, we present four different strategies of how to incorporate a second modality, other than RGB, into NeRFs: (1) training from scratch independently on both modalities; (2) pre-training on RGB and fine-tuning on the second modality; (3) adding a second branch; and (4) adding a separate component to predict (color) values of the additional modality. We chose thermal imaging as second modality since it strongly differs from RGB in terms of radiosity, making it challenging to integrate into neural scene representations. For the evaluation of the proposed strategies, we captured a new publicly available multi-view dataset, ThermalMix, consisting of six common objects and about 360 RGB and thermal images in total. We employ cross-modality calibration prior to data capturing, leading to high-quality alignments between RGB and thermal images. Our findings reveal that adding a second branch to NeRF performs best for novel view synthesis on thermal images while also yielding compelling results on RGB. Finally, we also show that our analysis generalizes to other modalities, including near-infrared images and depth maps. Project page: https://mert-o.github.io/ThermalNeRF/.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、RGB画像のセットでトレーニングする際、新しいビュー合成タスクのための新しいデファクト標準として急速に進化した。
本稿では,マルチモーダル学習の文脈において,NeRFなどのニューラルシーン表現を包括的に評価する。
具体的には,RGB以外の2次モダリティをNeRFに組み込むための4つの戦略を提示する。(1) 両方のモダリティに独立してスクラッチからトレーニングすること,(2) RGBの事前トレーニングと2次モダリティの微調整を行うこと,(3) 第二分枝を追加すること,(4) 追加モダリティの(色)値を予測するために別成分を追加すること,である。
熱画像はRGBとラジオシティの点で大きく異なるため,第2のモダリティとして選択した。
提案手法の評価のために,6つの共通オブジェクトと約360RGBのサーマルイメージからなる,公開された新しいマルチビューデータセットであるThermialMixを収集した。
データキャプチャに先立ってモダリティ校正を行い、RGBと熱画像の高品質なアライメントを実現した。
以上の結果から,第2分枝をNeRFに付加することは熱画像の新規なビュー合成に最適であり,かつRGBに有意な結果をもたらすことが判明した。
最後に、近赤外画像や深度マップなど他のモードに一般化した分析結果を示す。
プロジェクトページ: https://mert-o.github.io/ThermalNeRF/。
関連論文リスト
- Multispectral Texture Synthesis using RGB Convolutional Neural Networks [2.3213238782019316]
最先端のRGBテクスチャ合成アルゴリズムは、深い特徴の統計によって計算されるスタイル距離に依存している。
本稿では,これらの手法をマルチスペクトルイメージングに拡張する2つの方法を提案する。
論文 参考訳（メタデータ） (2024-10-21T13:49:54Z) - ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。
熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。
また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
論文 参考訳（メタデータ） (2024-03-18T18:10:34Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳（メタデータ） (2023-07-28T04:36:07Z) - CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。
我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
論文 参考訳（メタデータ） (2023-02-13T07:09:45Z) - Mirror Complementary Transformer Network for RGB-thermal Salient Object
Detection [16.64781797503128]
RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。
本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。
ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-07-07T20:26:09Z) - Learning Enriched Illuminants for Cross and Single Sensor Color
Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。
センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。
実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2022-03-21T15:45:35Z) - NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View
Synthesis [74.4983052902396]
単眼深度推定を改善するために,3つの主要なステップに分割した新しいトレーニング手法を提案する。
実験により,KITTIおよびNYU-Depth-v2データセット上での最先端ないし同等の性能が得られた。
論文 参考訳（メタデータ） (2021-12-22T12:21:08Z) - Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB
Images in the Wild [48.44194221801609]
この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。
我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。
提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
論文 参考訳（メタデータ） (2021-08-15T05:19:44Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳（メタデータ） (2020-07-17T18:35:24Z) - Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality
Person Re-Identification [15.475897856494583]
従来の人物識別はRGBカラー画像しか扱えないが、暗い条件下では失敗する。
RGB赤外線ReID(Infrared-Visible ReID、Visible-Thermal ReIDとも呼ばれる)が提案されている。
本稿では, 新たなマルチスペクトル画像生成手法を提案し, 生成したサンプルを用いて, ネットワークの識別情報検索を支援する。
論文 参考訳（メタデータ） (2020-02-29T09:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。