論文の概要: PoI: Pixel of Interest for Novel View Synthesis Assisted Scene Coordinate Regression

• arxiv url: http://arxiv.org/abs/2502.04843v2
• Date: Tue, 11 Feb 2025 10:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:07:57.780865
• Title: PoI: Pixel of Interest for Novel View Synthesis Assisted Scene Coordinate Regression
• Title（参考訳）: PoI:新しいビュー合成支援シーンコーディネート回帰への関心
• Authors: Feifei Li, Qi Song, Chi Zhang, Hui Shuai, Rui Huang,
• Abstract要約: 提案手法は,下位の画素を除去しながら,高解像度画素を選択的に抽出する,新しいフィルタリング手法を提案する。 このフィルタは、トレーニング中にSCRモデルのリアルタイム再投射損失と勾配を同時に測定する。 このフィルタリング技術に基づいて,スパース入力を用いてシーン座標の回帰を改善する新しい手法を開発した。
• 参考スコア（独自算出の注目度）: 28.39136566857838
• License:
• Abstract: The task of estimating camera poses can be enhanced through novel view synthesis techniques such as NeRF and Gaussian Splatting to increase the diversity and extension of training data. However, these techniques often produce rendered images with issues like blurring and ghosting, which compromise their reliability. These issues become particularly pronounced for Scene Coordinate Regression (SCR) methods, which estimate 3D coordinates at the pixel level. To mitigate the problems associated with unreliable rendered images, we introduce a novel filtering approach, which selectively extracts well-rendered pixels while discarding the inferior ones. This filter simultaneously measures the SCR model's real-time reprojection loss and gradient during training. Building on this filtering technique, we also develop a new strategy to improve scene coordinate regression using sparse inputs, drawing on successful applications of sparse input techniques in novel view synthesis. Our experimental results validate the effectiveness of our method, demonstrating state-of-the-art performance on indoor and outdoor datasets.
• Abstract（参考訳）: カメラのポーズを推定するタスクは、NeRFやGaussian Splattingといった新しいビュー合成技術によって強化され、トレーニングデータの多様性と拡張が向上する。 しかし、これらのテクニックは、ぼやけやゴーストといった問題のあるレンダリングされたイメージをしばしば生成し、信頼性を損なう。 これらの問題は、ピクセルレベルでの3D座標を推定するScene Coordinate Regression(SCR)メソッドで特に顕著になる。 信頼性の低いレンダリング画像にまつわる問題を緩和するため,より精巧なピクセルを選択的に抽出し,下位のピクセルを破棄する新しいフィルタリング手法を提案する。 このフィルタは、トレーニング中にSCRモデルのリアルタイム再投射損失と勾配を同時に測定する。 また, このフィルタリング技術に基づいて, スパース入力を用いたシーン座標の回帰を改善する手法を開発し, 新規なビュー合成におけるスパース入力技術の適用を成功に導いた。 本手法の有効性を実証し,室内および屋外のデータセット上での最先端性能を実証した。

関連論文リスト

• DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
  新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。 大規模な環境下では、復元の質が悪くなる場合が少なくない。 本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:51:44Z)
• FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training [15.634646420318731]
  スパース入力画像を用いた3次元ガウス型新規ビュー合成法を提案する。 本稿では,新しい視点に課せられる整合性制約を考慮した多段階学習手法を提案する。 これは、利用可能なトレーニング画像のマッチングを使用して、新しいビューの生成を監督することで達成される。
  論文  参考訳（メタデータ） (2024-11-04T16:21:00Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• DFNet: Enhance Absolute Pose Regression with Direct Feature Matching [16.96571417692014]
  絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。 提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
  論文  参考訳（メタデータ） (2022-04-01T16:39:16Z)
• LENS: Localization enhanced by NeRF synthesis [3.4386226615580107]
  アルゴリズムのNeRFクラスによって描画された追加の合成データセットにより、カメラポーズの回帰が向上することを示す。 我々はさらに、トレーニング中のデータ拡張として、合成現実的および幾何学的一貫した画像を用いて、ポーズ回帰器の局所化精度を向上した。
  論文  参考訳（メタデータ） (2021-10-13T08:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。