Fugu-MT 論文翻訳(概要): 3D-aware Conditional Image Synthesis

論文の概要: 3D-aware Conditional Image Synthesis

arxiv url: http://arxiv.org/abs/2302.08509v1
Date: Thu, 16 Feb 2023 18:59:53 GMT
ステータス: 処理完了
システム内更新日: 2023-02-17 12:55:34.639201
Title: 3D-aware Conditional Image Synthesis
Title（参考訳）: 3D対応条件画像合成
Authors: Kangle Deng, Gengshan Yang, Deva Ramanan, Jun-Yan Zhu
Abstract要約: pix2pix3Dは、可制御光写実画像合成のための3D対応条件生成モデルである。我々は,任意の視点からラベルマップを編集し,それに応じて出力を生成するインタラクティブシステムを構築した。
参考スコア（独自算出の注目度）: 76.68701564600998
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose pix2pix3D, a 3D-aware conditional generative model for controllable photorealistic image synthesis. Given a 2D label map, such as a segmentation or edge map, our model learns to synthesize a corresponding image from different viewpoints. To enable explicit 3D user control, we extend conditional generative models with neural radiance fields. Given widely-available monocular images and label map pairs, our model learns to assign a label to every 3D point in addition to color and density, which enables it to render the image and pixel-aligned label map simultaneously. Finally, we build an interactive system that allows users to edit the label map from any viewpoint and generate outputs accordingly.
Abstract（参考訳）: 制御可能な光実写画像合成のための3D対応条件生成モデルであるpix2pix3Dを提案する。セグメンテーションやエッジマップのような2次元ラベルマップが与えられた場合、我々のモデルは異なる視点から対応する画像を合成することを学ぶ。明示的な3Dユーザ制御を実現するため,ニューラルレイディアンスフィールドを用いた条件付き生成モデルを拡張した。広範に使用可能な単眼画像とラベルマップペアから,カラーと密度に加えて,各3dポイントにラベルを割り当てることを学び,画像と画素対応ラベルマップを同時にレンダリングする。最後に,任意の視点からラベルマップを編集し,それに応じて出力を生成するインタラクティブシステムを構築した。

関連論文リスト

LeAP: Consistent multi-domain 3D labeling using Foundation Models [0.7919810878571297]
この研究は、LeAP(Label Any Pointcloud)を導入し、2D VFMを活用して、あらゆる種類のアプリケーションにおいて、任意のクラスの3Dデータを自動的にラベル付けする。本手法は,手動ラベリングを使わずに,様々な分野にまたがる高品質な3Dセマンティックラベルを生成することができることを示す。
論文参考訳（メタデータ） (2025-02-06T09:24:47Z)
Cross-Modal Self-Training: Aligning Images and Pointclouds to Learn Classification without Labels [69.55622471172941]
CLIPのような大規模ビジョン2D視覚言語モデルは、一般化可能な(オープン語彙)3D視覚モデルを学ぶために3Dエンコーダと整列することができる。ゼロショット3Dビジョンモデルのラベルなし分類性能を改善するために、クロスモーダル自己訓練(Cross-MoST: Cross-Modal Self-Training)を提案する。
論文参考訳（メタデータ） (2024-04-15T21:30:50Z)
Weakly-Supervised 3D Scene Graph Generation via Visual-Linguistic Assisted Pseudo-labeling [9.440800948514449]
視覚言語支援擬似ラベルを用いた弱教師付き3次元シーングラフ生成法を提案する。我々の3D-VLAPは、テキストと2D画像のセマンティクスを調整するために、現在の大規模視覚言語モデルの優れた能力を利用する。エッジ自己アテンションに基づくグラフニューラルネットワークを設計し、3Dポイントクラウドシーンのシーングラフを生成する。
論文参考訳（メタデータ） (2024-04-03T07:30:09Z)
3D Congealing: 3D-Aware Image Alignment in the Wild [44.254247801001675]
3D Congealingは、意味的に類似したオブジェクトをキャプチャする2D画像の3D対応アライメントの問題である。形状テンプレートやポーズ,あるいは任意のカメラパラメータを仮定することなく,タスクに対処する一般的なフレームワークを導入する。我々のフレームワークは、対応マッチング、ポーズ推定、画像編集といった様々なタスクに利用できる。
論文参考訳（メタデータ） (2024-04-02T17:32:12Z)
CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
論文参考訳（メタデータ） (2023-03-21T17:59:02Z)
3D-TOGO: Towards Text-Guided Cross-Category 3D Object Generation [107.46972849241168]
3D-TOGOモデルは、良好なテクスチャを持つニューラルレージアンスフィールドの形で3Dオブジェクトを生成する。最大3Dオブジェクトデータセット(ABO)の実験を行い、3D-TOGOが高品質な3Dオブジェクトをより良く生成できることを検証する。
論文参考訳（メタデータ） (2022-12-02T11:31:49Z)
A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文参考訳（メタデータ） (2021-10-29T10:53:12Z)
Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose [10.028521796737314]
本稿では,ラベル付きサンプルと非ラベル付きデータの集合から3次元オブジェクトのポーズを推定する学習の課題について検討する。我々の主な貢献は学習フレームワークであるニューラルビュー合成とマッチングであり、3Dポーズアノテーションをラベル付けされたラベル付き画像から、確実に非ラベル付き画像に転送することができる。
論文参考訳（メタデータ） (2021-10-27T06:53:53Z)
Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
論文参考訳（メタデータ） (2021-08-23T09:44:56Z)
Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。