論文の概要: AsyncNeRF: Learning Large-scale Radiance Fields from Asynchronous RGB-D
Sequences with Time-Pose Function
- arxiv url: http://arxiv.org/abs/2211.07459v1
- Date: Mon, 14 Nov 2022 15:37:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 19:43:27.570307
- Title: AsyncNeRF: Learning Large-scale Radiance Fields from Asynchronous RGB-D
Sequences with Time-Pose Function
- Title(参考訳): AsyncNeRF:時相関数付き非同期RGB-D系列から大規模ラジアンス場を学習する
- Authors: Zirui Wu, Yuantao Chen, Runyi Yang, Zhenxin Zhu, Chao Hou, Yongliang
Shi, Hao Zhao, Guyue Zhou
- Abstract要約: 大規模な放射界は、自動運転やドローン配達といったスマートトランスポートアプリケーションのためのマッピングツールを約束している。
しかし、大規模なシーンでは、コンパクトなRGB-Dカメラはセンサー範囲が限られているため適用できない。
本稿では,RGBフレームと奥行きフレームのミスマッチを自己校正する最初の解を提案する。
- 参考スコア(独自算出の注目度): 2.0700454247618993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale radiance fields are promising mapping tools for smart
transportation applications like autonomous driving or drone delivery. But for
large-scale scenes, compact synchronized RGB-D cameras are not applicable due
to limited sensing range, and using separate RGB and depth sensors inevitably
leads to unsynchronized sequences. Inspired by the recent success of
self-calibrating radiance field training methods that do not require known
intrinsic or extrinsic parameters, we propose the first solution that
self-calibrates the mismatch between RGB and depth frames. We leverage the
important domain-specific fact that RGB and depth frames are actually sampled
from the same trajectory and develop a novel implicit network called the
time-pose function. Combining it with a large-scale radiance field leads to an
architecture that cascades two implicit representation networks. To validate
its effectiveness, we construct a diverse and photorealistic dataset that
covers various RGB-D mismatch scenarios. Through a comprehensive benchmarking
on this dataset, we demonstrate the flexibility of our method in different
scenarios and superior performance over applicable prior counterparts. Codes,
data, and models will be made publicly available.
- Abstract(参考訳): 大規模な放射界は、自動運転やドローン配達といったスマートトランスポートアプリケーションのためのマッピングツールを約束している。
しかし、大規模なシーンでは、センサ範囲が限られているため、コンパクトな同期RGB-Dカメラは適用できない。
そこで本研究では,RGBと深度フレームのミスマッチを自己校正する手法を提案する。
rgbと深度フレームが実際に同じ軌道からサンプリングされているという重要なドメイン特有な事実を利用し、time-pose関数と呼ばれる新しい暗黙的ネットワークを開発する。
大規模な放射場と組み合わせることで、2つの暗黙の表現ネットワークをカスケードするアーキテクチャとなる。
その有効性を検証するために,様々なRGB-Dミスマッチシナリオをカバーする多種多様なフォトリアリスティックデータセットを構築した。
このデータセットの包括的なベンチマークを通じて、異なるシナリオにおけるメソッドの柔軟性と、適用可能な先行モデルよりも優れたパフォーマンスを実証する。
コード、データ、モデルは公開される予定だ。
関連論文リスト
- Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2023-07-28T04:36:07Z) - Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。
近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。
本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
論文 参考訳(メタデータ) (2023-06-17T14:28:08Z) - Robust Double-Encoder Network for RGB-D Panoptic Segmentation [31.807572107839576]
パノプティックセグメンテーションは、ピクセルワイズセマンティックラベルをインスタンスIDと共に計算することでシーンの解釈を提供する。
本稿では、2つのエンコーダを通してRGBと深さを別々に処理する新しいエンコーダデコーダニューラルネットワークを提案する。
提案手法は,他の汎視的セグメンテーション手法と比較して,優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2022-10-06T11:46:37Z) - RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。
本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-15T12:31:27Z) - Cross-modality Discrepant Interaction Network for RGB-D Salient Object
Detection [78.47767202232298]
本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。
2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。
我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
論文 参考訳(メタデータ) (2021-08-04T11:24:42Z) - Self-Supervised Representation Learning for RGB-D Salient Object
Detection [93.17479956795862]
我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。
我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。
RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
論文 参考訳(メタデータ) (2021-01-29T09:16:06Z) - MobileSal: Extremely Efficient RGB-D Salient Object Detection [62.04876251927581]
本稿では,効率的なRGB-Dサルエント物体検出(SOD)に焦点を当てた新しいネットワーク,メソッド名を提案する。
RGB-D SODのためのモバイルネットワークの特徴表現能力を強化するために,暗黙的深度復元(IDR)手法を提案する。
IDRとCPRを組み込むことで、7つの挑戦的なRGB-D SODデータセット上のsArtメソッドに対してメソッド名が好ましい。
論文 参考訳(メタデータ) (2020-12-24T04:36:42Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳(メタデータ) (2020-07-17T18:35:24Z) - Synergistic saliency and depth prediction for RGB-D saliency detection [76.27406945671379]
既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。
そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
論文 参考訳(メタデータ) (2020-07-03T14:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。