論文の概要: C-NERF: Representing Scene Changes as Directional Consistency
Difference-based NeRF
- arxiv url: http://arxiv.org/abs/2312.02751v1
- Date: Tue, 5 Dec 2023 13:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 15:29:16.187088
- Title: C-NERF: Representing Scene Changes as Directional Consistency
Difference-based NeRF
- Title（参考訳）: C-NERF:方向整合差に基づくNRFによるシーン変化の表現
- Authors: Rui Huang (1), Binbin Jiang (1), Qingyi Zhao (1), William Wang (2),
Yuxiang Zhang (1), Qing Guo (3 and 4) ((1) College of Computer Science and
Technology, Civil Aviation University of China, China, (2) University of
South Carolina, The USA, (3) IHPC, Agency for Science, Technology and
Research, Singapore, (4) CFAR, Agency for Science, Technology and Research,
Singapore)
- Abstract要約: ニューラルレイディアンスフィールド(NeRF)で表現されたシーンにおける物体の変動による変化を検出することを目的としている。
任意のビューと2セットのシーンイメージが異なるタイムスタンプでキャプチャされた場合、そのビュー内のシーン変化を予測することができる。
提案手法は,最先端の2次元変化検出法とNeRF法を有意差で上回っている。
- 参考スコア（独自算出の注目度）: 1.5877981575881657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we aim to detect the changes caused by object variations in a
scene represented by the neural radiance fields (NeRFs). Given an arbitrary
view and two sets of scene images captured at different timestamps, we can
predict the scene changes in that view, which has significant potential
applications in scene monitoring and measuring. We conducted preliminary
studies and found that such an exciting task cannot be easily achieved by
utilizing existing NeRFs and 2D change detection methods with many false or
missing detections. The main reason is that the 2D change detection is based on
the pixel appearance difference between spatial-aligned image pairs and
neglects the stereo information in the NeRF. To address the limitations, we
propose the C-NERF to represent scene changes as directional consistency
difference-based NeRF, which mainly contains three modules. We first perform
the spatial alignment of two NeRFs captured before and after changes. Then, we
identify the change points based on the direction-consistent constraint; that
is, real change points have similar change representations across view
directions, but fake change points do not. Finally, we design the change map
rendering process based on the built NeRFs and can generate the change map of
an arbitrarily specified view direction. To validate the effectiveness, we
build a new dataset containing ten scenes covering diverse scenarios with
different changing objects. Our approach surpasses state-of-the-art 2D change
detection and NeRF-based methods by a significant margin.
- Abstract（参考訳）: 本研究では,ニューラルラジアンス場(NeRF)で表されるシーンにおいて,物体の変動に起因する変化を検出することを目的とする。
任意のビューと異なるタイムスタンプでキャプチャされた2セットのシーンイメージが与えられた場合、そのビューのシーン変化を予測することができる。
予備研究を行い, 既存のnerfと2次元変化検出法を用いて, 誤検出や欠落検出を多用することにより, その課題を容易に達成できないことを発見した。
主な理由は、2次元変化検出が空間整列画像対間の画素外観差に基づいており、NeRFのステレオ情報を無視するからである。
この制約に対処するため,C-NERFは,主に3つのモジュールを含む方向整合性差分に基づくNeRFとしてシーン変化を表現する。
まず,変化前後に捕獲した2つのNeRFの空間的アライメントを行う。
そして,方向整合性制約に基づいて変化点を識別する。つまり,実際の変化点はビュー方向をまたいだ同様の変化表現を持つが,フェイクな変化点は持たない。
最後に、構築したNeRFに基づいて変更マップの描画プロセスを設計し、任意に指定されたビュー方向の変化マップを生成する。
有効性を検証するために、異なる変更対象を持つ多様なシナリオをカバーする10のシーンを含む新しいデータセットを構築します。
提案手法は,最先端の2次元変化検出法とNeRF法を有意差で上回っている。
関連論文リスト
- NeRFDeformer: NeRF Transformation from a Single View via 3D Scene Flows [60.291277312569285]
本研究では,単一観測値に基づいてNeRF表現を自動的に修正する手法を提案する。
本手法は, 変形を3次元流れ, 特に剛性変換の重み付き線形ブレンディングとして定義する。
また,単一観測によるNeRFシーンの修正問題を探索するための新しいデータセットも導入した。
論文 参考訳（メタデータ） (2024-06-15T07:58:08Z) - ChangeBind: A Hybrid Change Encoder for Remote Sensing Change Detection [16.62779899494721]
変化検出(CD)は、異なる時刻スタンプで同じ地理的領域間の意味的変化を検出することを目的とした、リモートセンシング(RS)の基本課題である。
本稿では,バイテンポラルRS画像における意味変化をエンコードする,効果的なSiameseベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-26T17:47:14Z) - VcT: Visual change Transformer for Remote Sensing Image Change Detection [16.778418602705287]
本稿では,視覚変化検出問題に対する新しい視覚変化変換器(VcT)モデルを提案する。
トップKの信頼できるトークンは、クラスタリングアルゴリズムを使用してマップからマイニングし、洗練することができる。
複数のベンチマークデータセットに対する大規模な実験により,提案したVcTモデルの有効性が検証された。
論文 参考訳（メタデータ） (2023-10-17T17:25:31Z) - Learning Transformations To Reduce the Geometric Shift in Object
Detection [60.20931827772482]
画像キャプチャプロセスの変動から生じる幾何シフトに対処する。
我々は、これらのシフトを最小限に抑えるために幾何変換の集合を学習する自己学習アプローチを導入する。
我々は,カメラの視野変化(FoV)と視点変化(視点変化)の2つの異なるシフトについて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-01-13T11:55:30Z) - GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields [100.53114092627577]
既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。
顔領域と眼球は3次元構造であり、協調しているが独立して動くという直感に基づいて構築する。
論文 参考訳（メタデータ） (2022-12-08T13:19:11Z) - The Change You Want to See [91.3755431537592]
同じシーンの2つのイメージが与えられた場合、その変更を自動的に検出できることは、様々な領域で実用的応用をもたらす。
画像対の「オブジェクトレベル」変化を、視点や照明の違いにかかわらず検出することを目的として、変化検出問題に取り組む。
論文 参考訳（メタデータ） (2022-09-28T18:10:09Z) - dual unet:a novel siamese network for change detection with cascade
differential fusion [4.651756476458979]
本稿では,変化検出タスク,すなわちDual-UNetのための新しいSiameseニューラルネットワークを提案する。
従来のバイテンポラル画像の符号化とは対照的に,画素の空間的差分関係に着目したエンコーダ差分アテンションモジュールを設計する。
実験により、提案手法は、一般的な季節変化検出データセットにおいて、常に最も高度な手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-08-12T14:24:09Z) - City-scale Scene Change Detection using Point Clouds [71.73273007900717]
2つの異なる時間にカメラを設置して撮影した画像を用いて都市の構造変化を検出する手法を提案する。
変化検出のための2点雲の直接比較は、不正確な位置情報のため理想的ではない。
この問題を回避するために,ポイントクラウド上での深層学習に基づく非厳密な登録を提案する。
提案手法は,視点や照明の違いがあっても,シーン変化を効果的に検出できることを示す。
論文 参考訳（メタデータ） (2021-03-26T08:04:13Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z) - DASNet: Dual attentive fully convolutional siamese networks for change
detection of high resolution satellite images [17.839181739760676]
研究の目的は、関心の変化情報を識別し、無関係な変更情報を干渉要因としてフィルタリングすることである。
近年、ディープラーニングの台頭により、変化検出のための新しいツールが提供され、目覚ましい結果が得られた。
我々は,高解像度画像における変化検出のための新しい手法,すなわち,二重注意型完全畳み込みシームズネットワーク(DASNet)を提案する。
論文 参考訳（メタデータ） (2020-03-07T16:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。