論文の概要: Can we make NeRF-based visual localization privacy-preserving?

• arxiv url: http://arxiv.org/abs/2508.18971v1
• Date: Tue, 26 Aug 2025 12:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.832724
• Title: Can we make NeRF-based visual localization privacy-preserving?
• Title（参考訳）: NeRFによる視覚的ローカライゼーションのプライバシ保存は可能か?
• Authors: Maxime Pietrantoni, Martin Humenberger, Torsten Sattler, Gabriela Csurka,
• Abstract要約: 我々は、NeRFに基づく表現のプライバシー保護を評価するためのプロトコルを提案する。 我々は、光度損失で訓練されたNeRFが、その幾何学的表現の細かい詳細を記憶し、プライバシ攻撃に弱いことを示す。 RGB画像の代わりにセグメンテーションを指導したNeRFモデルであるpNeSF(Privacy-Preserving Neural Field)を提案する。
• 参考スコア（独自算出の注目度）: 30.56803525955743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual localization (VL) is the task of estimating the camera pose in a known scene. VL methods, a.o., can be distinguished based on how they represent the scene, e.g., explicitly through a (sparse) point cloud or a collection of images or implicitly through the weights of a neural network. Recently, NeRF-based methods have become popular for VL. While NeRFs offer high-quality novel view synthesis, they inadvertently encode fine scene details, raising privacy concerns when deployed in cloud-based localization services as sensitive information could be recovered. In this paper, we tackle this challenge on two ends. We first propose a new protocol to assess privacy-preservation of NeRF-based representations. We show that NeRFs trained with photometric losses store fine-grained details in their geometry representations, making them vulnerable to privacy attacks, even if the head that predicts colors is removed. Second, we propose ppNeSF (Privacy-Preserving Neural Segmentation Field), a NeRF variant trained with segmentation supervision instead of RGB images. These segmentation labels are learned in a self-supervised manner, ensuring they are coarse enough to obscure identifiable scene details while remaining discriminativeness in 3D. The segmentation space of ppNeSF can be used for accurate visual localization, yielding state-of-the-art results.
• Abstract（参考訳）: 視覚的ローカライゼーション(VL)は、カメラのポーズを既知のシーンで推定するタスクである。 VLメソッドは、例えば、(スパース)ポイントクラウドや画像のコレクションを通じて明示的に、ニューラルネットワークの重みを通して暗黙的に、シーンを表現する方法に基づいて区別することができる。 近年, VL では NeRF ベースの手法が普及している。 NeRFは高品質のノベルビュー合成を提供するが、微妙なシーンの詳細を不注意にエンコードし、機密情報としてクラウドベースのローカライゼーションサービスにデプロイされた際のプライバシー上の懸念を高める。 本稿では,この課題を両端から解決する。 まず、NeRFに基づく表現のプライバシー保護を評価するための新しいプロトコルを提案する。 光度損失で訓練されたNeRFは、その幾何学的表現の細かい詳細を記憶し、色を予測するヘッドが削除されたとしても、プライバシー攻撃に対して脆弱であることを示す。 第2に、RGB画像の代わりにセグメンテーション監督を訓練したNeRF変種であるpNeSF(Privacy-Preserving Neural Segmentation Field)を提案する。 これらのセグメンテーションラベルは、自己監督的な方法で学習され、3Dにおける識別性を保ちながら、不明瞭なシーンの詳細を識別できるほど粗い。 ppNeSFのセグメンテーション空間は正確な視覚的ローカライゼーションに利用でき、最先端の結果が得られる。

関連論文リスト

• Obfuscation Based Privacy Preserving Representations are Recoverable Using Neighborhood Information [43.14648227833812]
  プライバシ保護ローカライゼーションの研究は、クエリ画像キーポイントとシーンマップの3Dポイントに対する逆攻撃を防ぐことに重点を置いている。 これらの難読化の共通の弱点を指摘し、既知の近傍の仮定の下で元の点位置の近似を復元できるようにする。 以上の結果から,プライバシ保護を主張されているにもかかわらず,これらのスキームはプライバシ保護とはみなしてはならないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-17T20:13:54Z)
• OpenNeRF: Open Set 3D Neural Scene Segmentation with Pixel-Wise Features and Rendered Novel Views [90.71215823587875]
  提案するOpenNeRFは,ポーズ画像上で自然に動作し,NeRF内のVLM機能を直接符号化する。 我々の研究は、ピクセルワイドVLM機能を用いることで、DINO正規化を必要とせずに、全体的なアーキテクチャがより複雑になることを示している。 Replicaデータセット上の3Dポイントクラウドセグメンテーションでは、OpenNeRFはLERFやOpenSceneといった最近のオープン語彙法を少なくとも4.9 mIoUで上回っている。
  論文  参考訳（メタデータ） (2024-04-04T17:59:08Z)
• NeRFuser: Large-Scale Scene Representation by NeRF Fusion [35.749208740102546]
  Neural Radiance Fields (NeRF)のような暗黙的な視覚表現の実用的な利点は、そのメモリ効率である。 既製のNeRFへのアクセスのみを前提としたNeRF登録とブレンディングのための新しいアーキテクチャであるNeRFuserを提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:05Z)
• Privacy-Preserving Representations are not Enough -- Recovering Scene Content from Camera Poses [63.12979986351964]
  既存のプライバシ保護ローカライゼーションの取り組みは、クラウドベースのサービスにアクセス可能な攻撃者に対して防御することを目的としている。 攻撃者は、単にローカライズサービスに問い合わせるだけで、アクセスすることなくシーンの詳細を知ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-08T10:25:09Z)
• Behind the Scenes: Density Fields for Single View Reconstruction [63.40484647325238]
  単一の画像から有意義な幾何学的シーン表現を推定することは、コンピュータビジョンの根本的な問題である。 本稿では,入力画像のフラストラム内のすべての位置を体積密度にマッピングする。 提案手法は,入力画像に隠された領域に対して有意な幾何を予測できることを示す。
  論文  参考訳（メタデータ） (2023-01-18T17:24:01Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• Privacy-Preserving Visual Localization with Event Cameras [13.21898697942957]
  イベントカメラは、高いダイナミックレンジと小さな動きのぼかしのために、ロバストなローカライゼーションを実現する可能性がある。 本稿では、局所化に先立ってイベント・ツー・イメージ変換を適用し、安定した局所化を実現することを提案する。 プライバシの観点からは、イベントカメラは通常のカメラと比べてわずかに視覚情報をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-04T07:22:17Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。