論文の概要: Semantic Implicit Neural Scene Representations With Semi-Supervised Training

• arxiv url: http://arxiv.org/abs/2003.12673v2
• Date: Sun, 17 Jan 2021 01:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 23:47:20.226426
• Title: Semantic Implicit Neural Scene Representations With Semi-Supervised Training
• Title（参考訳）: セミスーパービジョントレーニングによる意味的暗黙的ニューラルシーン表現
• Authors: Amit Kohli, Vincent Sitzmann, Gordon Wetzstein
• Abstract要約: その結果,暗黙的なシーン表現がポイントごとのセマンティックセマンティックセグメンテーションに活用できることが示唆された。 我々の手法は単純で汎用的で、数個のラベル付き2Dセグメンテーションマスクしか必要としない。 意味的に認識された暗黙的なニューラルシーン表現のための2つの新しい応用を探索する。
• 参考スコア（独自算出の注目度）: 47.61092265963234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent success of implicit neural scene representations has presented a viable new method for how we capture and store 3D scenes. Unlike conventional 3D representations, such as point clouds, which explicitly store scene properties in discrete, localized units, these implicit representations encode a scene in the weights of a neural network which can be queried at any coordinate to produce these same scene properties. Thus far, implicit representations have primarily been optimized to estimate only the appearance and/or 3D geometry information in a scene. We take the next step and demonstrate that an existing implicit representation (SRNs) is actually multi-modal; it can be further leveraged to perform per-point semantic segmentation while retaining its ability to represent appearance and geometry. To achieve this multi-modal behavior, we utilize a semi-supervised learning strategy atop the existing pre-trained scene representation. Our method is simple, general, and only requires a few tens of labeled 2D segmentation masks in order to achieve dense 3D semantic segmentation. We explore two novel applications for this semantically aware implicit neural scene representation: 3D novel view and semantic label synthesis given only a single input RGB image or 2D label mask, as well as 3D interpolation of appearance and semantics.
• Abstract（参考訳）: 近年の暗黙的なニューラルシーン表現の成功は、3dシーンをキャプチャして保存する方法として有効な新しい方法を提示した。 個別の局所単位にシーン特性を明示的に格納する点雲のような従来の3D表現とは異なり、これらの暗黙の表現はニューラルネットワークの重みのシーンを符号化し、同じシーン特性を生成するために任意の座標でクエリできる。 これまでのところ、暗黙的な表現は主にシーンの外観と3dジオメトリ情報のみを推定するために最適化されている。 次のステップで、既存の暗黙表現(SRN)が実際にマルチモーダルであることを示し、外観や幾何学を表現する能力を維持しつつ、ポイントごとのセマンティックセマンティックセグメンテーションを実行するためにさらに活用することができる。 このマルチモーダルな動作を実現するために,既存の事前学習シーン表現の上に,半教師付き学習戦略を利用する。 提案手法は単純で汎用的であり,密集した3次元意味セグメンテーションを実現するために,ラベル付き2次元セグメンテーションマスクを数十枚しか必要としない。 本稿では,1つの入力RGB画像または2Dラベルマスクのみを付与する3D新規ビューとセマンティックラベル合成と,外観と意味の3D補間という2つの新しい応用を探索する。

関連論文リスト

• MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors [11.118490283303407]
  画像レベルの雑音を3次元に引き上げるニューラルネットワークセマンティック・リコンストラクション手法を提案する。 本手法は3次元空間と2次元空間の両方で正確な意味論と幾何学を生成する。
  論文  参考訳（メタデータ） (2024-09-21T05:12:13Z)
• Efficient 3D Instance Mapping and Localization with Neural Fields [39.73128916618561]
  本稿では,RGB画像の列から3次元インスタンスセグメンテーションの暗黙的なシーン表現を学習する問題に取り組む。 本稿では,新しい視点から3Dインスタンスセグメンテーションマスクを描画するニューラルラベルフィールドを効率的に学習する新しいフレームワークである3DIMLを紹介する。
  論文  参考訳（メタデータ） (2024-03-28T19:25:25Z)
• GNeSF: Generalizable Neural Semantic Fields [48.49860868061573]
  暗黙の表現に基づく一般化可能な3Dセグメンテーションフレームワークを提案する。 本稿では,各3次元点の異なる視点から2次元意味情報を集約するソフト投票機構を提案する。 当社のアプローチは、2Dアノテーションだけで、既存の強力な監視ベースのアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-10-24T10:40:51Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations [92.88108411154255]
  本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。 本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-07T23:24:09Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• NeSF: Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes [25.26518805603798]
  NeSFは、ポーズされたRGB画像のみから3Dセマンティックフィールドを生成する方法である。 本手法は,訓練に2次元の監督しか必要としない,真に密集した3次元シーンセグメンテーションを提供する最初の方法である。
  論文  参考訳（メタデータ） (2021-11-25T21:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。