論文の概要: Ternary-type Opacity and Hybrid Odometry for RGB-only NeRF-SLAM
- arxiv url: http://arxiv.org/abs/2312.13332v2
- Date: Fri, 22 Dec 2023 18:32:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 20:35:11.903317
- Title: Ternary-type Opacity and Hybrid Odometry for RGB-only NeRF-SLAM
- Title(参考訳): RGB-only NeRF-SLAMのための3次元型オパシティとハイブリッドオドメトリー
- Authors: Junru Lin, Asen Nachkov, Songyou Peng, Luc Van Gool, Danda Pani Paudel
- Abstract要約: 3次型不透明度が課題に適している理由と課題について検討する。
本稿では,ボリュームとワープに基づく画像レンダリングを併用した,シンプルながら斬新なビジュアルオドメトリー手法を提案する。
- 参考スコア(独自算出の注目度): 62.23809541385653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The opacity of rigid 3D scenes with opaque surfaces is considered to be of a
binary type. However, we observed that this property is not followed by the
existing RGB-only NeRF-SLAM. Therefore, we are motivated to introduce this
prior into the RGB-only NeRF-SLAM pipeline. Unfortunately, the optimization
through the volumetric rendering function does not facilitate easy integration
of the desired prior. Instead, we observed that the opacity of ternary-type
(TT) is well supported. In this work, we study why ternary-type opacity is
well-suited and desired for the task at hand. In particular, we provide
theoretical insights into the process of jointly optimizing radiance and
opacity through the volumetric rendering process. Through exhaustive
experiments on benchmark datasets, we validate our claim and provide insights
into the optimization process, which we believe will unleash the potential of
RGB-only NeRF-SLAM. To foster this line of research, we also propose a simple
yet novel visual odometry scheme that uses a hybrid combination of volumetric
and warping-based image renderings. More specifically, the proposed hybrid
odometry (HO) additionally uses image warping-based coarse odometry, leading up
to an order of magnitude final speed-up. Furthermore, we show that the proposed
TT and HO well complement each other, offering state-of-the-art results on
benchmark datasets in terms of both speed and accuracy.
- Abstract(参考訳): 不透明な表面を持つ立体的な3dシーンの不透明性はバイナリタイプであると考えられている。
しかし,この特性は既存のRGBのみのNeRF-SLAMに従わないことがわかった。
そのため,RGBのみのNeRF-SLAMパイプラインに導入する動機がある。
残念なことに、ボリュームトリップレンダリング機能による最適化は、望ましい事前の統合を容易化しない。
その代わり, 3次型 (TT) の不透明度は良好に支持されている。
本研究では,三元型不透明性が手作業に適している理由について検討する。
特に、ボリュームレンダリングプロセスを通じて放射率と不透明度を共同最適化する過程に関する理論的知見を提供する。
ベンチマークデータセットに関する徹底的な実験を通じて、我々の主張を検証し、最適化プロセスに関する洞察を提供する。
そこで本研究では,ボリュームとワーピングを併用した画像レンダリングを併用した,シンプルながら斬新なビジュアルオドメトリー手法を提案する。
より具体的には、提案されたハイブリッドオドメトリ(ho)は、イメージウォーピングベースの粗オドメトリも使用し、最終的なスピードアップを桁違いに導く。
さらに,提案するttとhoが相互に補完し,速度と精度の両面でベンチマークデータセットに最先端の結果を提供することを示した。
関連論文リスト
- Hi-Map: Hierarchical Factorized Radiance Field for High-Fidelity
Monocular Dense Mapping [51.739466714312805]
ニューラルラジアンス場(NeRF)に基づく新しいモノクリン高密度マッピング手法であるHi-Mapを導入する。
ハイマップは、RGB入力のみを用いた効率的かつ高忠実なマッピングを実現する能力において例外的である。
論文 参考訳(メタデータ) (2024-01-06T12:32:25Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [76.32477514781684]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - Tensor Factorization for Leveraging Cross-Modal Knowledge in
Data-Constrained Infrared Object Detection [22.60228799622782]
赤外線画像における物体検出のボトルネックは、十分なラベル付きトレーニングデータがないことである。
我々は、RGBモードにおけるモデル性能を保ちながら、RGBモードからオブジェクト検出器をIRモードにスケールするために、RGBモードからの手がかりを活用しようとしている。
まず、これらの因子行列をRGBモードで事前トレーニングし、多くのトレーニングデータが存在すると仮定した後、IRモードでトレーニングするためのトレーニング可能なパラメータをわずかに増やして過度な適合を避ける。
論文 参考訳(メタデータ) (2023-09-28T16:55:52Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2023-07-28T04:36:07Z) - A Combined Approach Toward Consistent Reconstructions of Indoor Spaces
Based on 6D RGB-D Odometry and KinectFusion [7.503338065129185]
キーポイント抽出により連続したRGB-Dフレーム間の相対的なカメラポーズを求める6次元RGB-Dオドメトリー手法を提案する。
推定されたポーズを、フレーム間相対的なポーズを微調整するKinectFusionアルゴリズムに入力する。
提案アルゴリズムは,ポストプロセッシングのステップを使わずに,利用可能なポリゴンメッシュ(3次元仮想世界を作成するのに非常に適している)を出力する。
論文 参考訳(メタデータ) (2022-12-25T22:52:25Z) - Mirror Complementary Transformer Network for RGB-thermal Salient Object
Detection [16.64781797503128]
RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。
本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。
ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2022-07-07T20:26:09Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Neural BRDF Representation and Importance Sampling [79.84316447473873]
本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。
BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。
複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
論文 参考訳(メタデータ) (2021-02-11T12:00:24Z) - Fast Hyperspectral Image Recovery via Non-iterative Fusion of
Dual-Camera Compressive Hyperspectral Imaging [22.683482662362337]
符号化開口分光画像(CASSI)は3次元ハイパースペクトル像(HSI)を撮像するための有望な技術である
様々な正規化器を用いて2次元計測から3次元データを再構成している。
実現可能な解決策の1つは、CASSIのRGB測定などの追加情報を活用することです。
論文 参考訳(メタデータ) (2020-12-30T10:29:32Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳(メタデータ) (2020-07-17T18:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。