論文の概要: Focused Specific Objects NeRF
- arxiv url: http://arxiv.org/abs/2308.05970v1
- Date: Fri, 11 Aug 2023 07:07:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 14:55:11.323783
- Title: Focused Specific Objects NeRF
- Title(参考訳): 焦点を絞った特定のオブジェクト nerf
- Authors: Yuesong Li, Feng Pan, Helong Yan, Xiuli Xin, Xiaoxue Feng
- Abstract要約: 本稿では,シーンのセマンティクスを利用して高速トレーニングの改善を行い,ネットワークが特定のターゲットに集中できるようにする。
トレーニング速度は7.78倍に向上し、レンダリング効果が向上し、小型から中型のターゲットを高速にレンダリングすることができる。
また、NeRFの多面的一貫性と滑らかさを考慮し、陰極線サンプルをスパースサンプリングすることで、弱い監督について検討する。
- 参考スコア(独自算出の注目度): 1.1424576927168384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most NeRF-based models are designed for learning the entire scene, and
complex scenes can lead to longer learning times and poorer rendering effects.
This paper utilizes scene semantic priors to make improvements in fast
training, allowing the network to focus on the specific targets and not be
affected by complex backgrounds. The training speed can be increased by 7.78
times with better rendering effect, and small to medium sized targets can be
rendered faster. In addition, this improvement applies to all NeRF-based
models. Considering the inherent multi-view consistency and smoothness of NeRF,
this paper also studies weak supervision by sparsely sampling negative ray
samples. With this method, training can be further accelerated and rendering
quality can be maintained. Finally, this paper extends pixel semantic and color
rendering formulas and proposes a new scene editing technique that can achieve
unique displays of the specific semantic targets or masking them in rendering.
To address the problem of unsupervised regions incorrect inferences in the
scene, we also designed a self-supervised loop that combines morphological
operations and clustering.
- Abstract(参考訳): ほとんどのNeRFベースのモデルはシーン全体を学習するために設計されており、複雑なシーンはより長い学習時間とより低いレンダリング効果をもたらす可能性がある。
本稿では,シーンセマンティクスプリエントを利用して高速トレーニングの改善を行い,ネットワークが複雑な背景の影響を受けず,特定のターゲットに集中できるようにする。
トレーニング速度は7.78倍に向上し、レンダリング効果が向上し、小型から中型のターゲットを高速にレンダリングすることができる。
さらに、この改良はすべてのNeRFベースのモデルに適用できる。
また、NeRFの多面的一貫性と滑らかさを考慮し、陰極線サンプルをスパースサンプリングして弱い監視を行う。
この方法ではさらにトレーニングを加速し、レンダリング品質を維持することができる。
最後に,画素のセマンティックとカラーレンダリングを拡張し,特定のセマンティックなターゲットのユニークな表示やレンダリングのマスキングが可能なシーン編集手法を提案する。
現場における不正な推論の問題に対処するために,形態的操作とクラスタリングを組み合わせた自己教師付きループを設計した。
関連論文リスト
- HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。
本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。
仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15~30%改善する。
論文 参考訳(メタデータ) (2023-12-05T22:04:49Z) - PyNeRF: Pyramidal Neural Radiance Fields [51.25406129834537]
本研究では,異なる空間グリッド解像度でモデルヘッドを訓練することにより,グリッドモデルへの簡単な修正を提案する。
レンダリング時には、単に粗いグリッドを使用して、より大きなボリュームをカバーするサンプルをレンダリングします。
Mip-NeRFと比較して、60倍高速なトレーニングをしながらエラー率を20%削減する。
論文 参考訳(メタデータ) (2023-11-30T23:52:46Z) - Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D
Scene Representations [34.836151514152746]
本研究では,自動エンコーダとNeRFを組み合わせることで,遅延特徴を描画し,畳み込み復号する手法を提案する。
結果として、潜在空間のNeRFは、標準色空間のNeRFよりも高品質で新しいビューを生成することができる。
AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、性能をわずかに低下させるだけで13倍以上高速なレンダリングを実現できます。
論文 参考訳(メタデータ) (2023-10-27T03:52:08Z) - SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with
Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。
我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。
上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文 参考訳(メタデータ) (2023-09-07T18:02:57Z) - Adaptive Voronoi NeRFs [9.973103531980838]
Neural Radiance Fieldsは、登録された画像のセットから3Dシーンを表現することを学ぶ。
ボロノイ図形の階層構造がシーン分割に適した選択であることを示す。
それぞれのVoronoiセルに独自のNeRFを組み込むことで,シーン表現を迅速に学習することができる。
論文 参考訳(メタデータ) (2023-03-28T14:16:08Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳(メタデータ) (2022-07-10T13:47:20Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳(メタデータ) (2022-03-21T18:56:35Z) - RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs [79.00855490550367]
我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。
我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。
我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-12-01T18:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。