論文の概要: Learning Spectral and Polarimetric Clues for One-to-Multimodal Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2607.02372v1
• Date: Thu, 02 Jul 2026 16:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.915086
• Title: Learning Spectral and Polarimetric Clues for One-to-Multimodal Novel View Synthesis
• Title（参考訳）: 1対多の新規視点合成のための学習スペクトルと偏光度曲線
• Abstract要約: 本研究では, 従来と異なる特徴の連続的なレンダリングを実現するための新しい手法であるSPoILeR(Spectral and Polarimetric Implicit Learned Representation)を提案する。 マルチモーダル事前学習フェーズにより、モデルは異なるモーダル間の相互相関を学習する。 実験結果から,これらのセンサが捉えたサンプルが存在しないシーンに対して,赤外,偏光,マルチスペクトルフレームを正確に描画できることが示唆された。
• 参考スコア（独自算出の注目度）: 15.168593370409177
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural rendering techniques allow for accurate reconstruction of the geometry and color appearance of 3D scenes. Some methods have extended their use to additional imaging modalities, such as multispectral, infrared, or polarimetric data. However, all of these approaches require expensive sensors and calibrated setups to capture new multimodal frames for each new scene. We propose Spectral and Polarimetric Implicit Learned Representation (SPoILeR), a novel method to obtain multi-view consistent renderings of unconventional modalities for scenes where either only RGB frames or very few of the additional modalities are available. Thanks to a multimodal pre-training phase, the model learns the mutual correlation between different modalities. This step allows predicting accurate renderings of unconventional modalities during a fine-tuning phase supervised only by RGB images. Experimental results show that the approach can accurately render infrared, polarimetric, and multispectral frames for scenes where no input sample captured by these types of sensors is provided.
• Abstract（参考訳）: ニューラルレンダリング技術は、3Dシーンの形状と色を正確に再現することができる。 いくつかの手法は、マルチスペクトル、赤外線、偏光測定データなど、追加の画像モダリティに使用を拡大している。 しかし、これらのアプローチはすべて、新しいシーンごとに新しいマルチモーダルフレームをキャプチャするために、高価なセンサーとキャリブレーションされたセットアップを必要とする。 本稿では,RGBフレームのみまたは追加のモダリティの少ないシーンに対して,従来と違うモダリティのマルチビュー一貫したレンダリングを実現するための新しい手法であるSPoILeRを提案する。 マルチモーダル事前学習フェーズにより、モデルは異なるモーダル間の相互相関を学習する。 このステップでは、RGB画像のみによって制御された微調整フェーズにおいて、従来とは異なるモダリティの正確なレンダリングを予測できる。 実験結果から,これらのセンサが捉えたサンプルが存在しないシーンに対して,赤外,偏光,マルチスペクトルフレームを正確に描画できることが示唆された。

関連論文リスト

• Unpaired RGB-Thermal Gaussian-Splatting Using Visual Geometric Transformers [21.564312545454925]
  RGBと熱画像を組み合わせたマルチモーダルノベルビュー合成(NVS)により、視覚的・熱的情報による正確な3次元シーン再構成が可能となる。 本稿では,3DフィードフォワードトランスアーキテクチャであるVGGTを利用した不対向RGB熱的NVSのためのフレームワークを提案する。 提案手法は,RGB忠実度を維持しつつ,熱ビュー合成における競争性能を向上することを示す。
  論文  参考訳（メタデータ） (2026-06-03T22:30:58Z)
• Multi-Spectral Gaussian Splatting with Neural Color Representation [8.200719250787651]
  マルチスペクトル3次元ガウス散乱フレームワークであるMS-Splattingを提案する。 本手法では, クロスモーダルカメラキャリブレーションは不要である。 熱や近赤外線などの様々なスペクトルをモデル化できるほど多用途である。
  論文  参考訳（メタデータ） (2025-06-03T21:36:50Z)
• DiffusionSfM: Predicting Structure and Motion via Ray Origin and Endpoint Diffusion [53.70278210626701]
  マルチビュー画像から3次元シーン形状とカメラポーズを直接推定するデータ駆動型マルチビュー推論手法を提案する。 我々のフレームワークであるDiffusionSfMは、シーン幾何学とカメラを、グローバルフレーム内のピクセルワイズ線源とエンドポイントとしてパラメータ化します。 我々は、DiffusionSfMを合成データセットと実データセットの両方で実証的に検証し、古典的および学習ベースのアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-08T17:59:47Z)
• Multispectral Texture Synthesis using RGB Convolutional Neural Networks [2.3213238782019316]
  最先端のRGBテクスチャ合成アルゴリズムは、深い特徴の統計によって計算されるスタイル距離に依存している。 本稿では,これらの手法をマルチスペクトルイメージングに拡張する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T13:49:54Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Spec-NeRF: Multi-spectral Neural Radiance Fields [9.242830798112855]
  異なるフィルタでフィルタされたカラー画像の集合から,マルチスペクトルレーダランス場とスペクトル感度関数(SSF)を共同で再構成する多スペクトルニューラルレイダランス場(Spec-NeRF)を提案する。 合成シナリオと実シナリオの両方を対象とした実験により, フィルタされたRGB画像と学習可能なNeRF, SSFを併用することで, 高い忠実度と有望なスペクトル再構成が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-14T16:17:55Z)
• Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration [66.33746403815283]
  シーン適応型赤外線と可視画像の登録を提案する。 我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。 我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T06:49:56Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。