論文の概要: JacobiNeRF: NeRF Shaping with Mutual Information Gradients

• arxiv url: http://arxiv.org/abs/2304.00341v1
• Date: Sat, 1 Apr 2023 15:48:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 18:34:08.893147
• Title: JacobiNeRF: NeRF Shaping with Mutual Information Gradients
• Title（参考訳）: JacobiNeRF: 相互情報勾配によるNeRF整形
• Authors: Xiaomeng Xu, Yanchao Yang, Kaichun Mo, Boxiao Pan, Li Yi, Leonidas Guibas
• Abstract要約: シーンポイント,領域,エンティティ間の意味的相関を符号化するために,ニューラルラディアンス場(NeRF)を訓練する手法を提案する。 実験の結果,JacobiNeRFは2Dピクセルと3Dポイント間のアノテーションの伝播において,相互情報の整形を伴わないNeRFよりも効率的であることが示唆された。
• 参考スコア（独自算出の注目度）: 24.024577264160154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method that trains a neural radiance field (NeRF) to encode not only the appearance of the scene but also semantic correlations between scene points, regions, or entities -- aiming to capture their mutual co-variation patterns. In contrast to the traditional first-order photometric reconstruction objective, our method explicitly regularizes the learning dynamics to align the Jacobians of highly-correlated entities, which proves to maximize the mutual information between them under random scene perturbations. By paying attention to this second-order information, we can shape a NeRF to express semantically meaningful synergies when the network weights are changed by a delta along the gradient of a single entity, region, or even a point. To demonstrate the merit of this mutual information modeling, we leverage the coordinated behavior of scene entities that emerges from our shaping to perform label propagation for semantic and instance segmentation. Our experiments show that a JacobiNeRF is more efficient in propagating annotations among 2D pixels and 3D points compared to NeRFs without mutual information shaping, especially in extremely sparse label regimes -- thus reducing annotation burden. The same machinery can further be used for entity selection or scene modifications.
• Abstract（参考訳）: 本研究では,ニューラルラディアンス場(NeRF)を訓練し,シーンの出現だけでなく,シーンポイント,エリア,エンティティ間の意味的相関関係を符号化する手法を提案する。 従来の一階光度再構成の目的とは対照的に,本手法は,無作為なシーン摂動下での相互情報を最大化するために,ジャコビアンを整列するための学習ダイナミクスを明示的に定式化する。 この2階情報に注意を払って、ネットワーク重みが1つのエンティティ、領域、あるいはポイントの勾配に沿ってデルタによって変化するとき、意味的に意味のあるシナジーを表現するためにNeRFを形成することができる。 この相互情報モデリングの利点を実証するために, 形状から生じるシーンエンティティの協調行動を利用して, セマンティックおよびインスタンスセグメンテーションのためのラベル伝搬を行う。 実験の結果,jacobinerfは2dピクセルと3dポイント間のアノテーション伝達において,相互情報のシェーピングを必要とせず,より効率的であることが判明した。 同じ機械は、エンティティの選択やシーンの変更にも利用できる。

関連論文リスト

• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• Unsupervised Continual Semantic Adaptation through Neural Rendering [32.099350613956716]
  セマンティックセグメンテーションの課題に対する連続的マルチシーン適応について検討する。 本稿では,セグメンテーションモデルの予測を融合させることで,シーン毎にセマンティック・NeRFネットワークを訓練する。 我々は,Voxelベースのベースラインと最先端の教師なしドメイン適応手法の両方より優れているScanNetに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-11-25T09:31:41Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• PeRFception: Perception using Radiance Fields [72.99583614735545]
  私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。 元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。 この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:32:46Z)
• In-Place Scene Labelling and Understanding with Implicit Scene Representation [39.73806072862176]
  ニューラルラジアンスフィールド(NeRF)を拡張して、外観とジオメトリでセマンティクスを共同エンコードします。 ルームスケールのシーンでは、ラベルがスパースまたは非常に騒々しい場合、このアプローチの利点を示します。
  論文  参考訳（メタデータ） (2021-03-29T18:30:55Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。