論文の概要: As-Plausible-As-Possible: Plausibility-Aware Mesh Deformation Using 2D
Diffusion Priors
- arxiv url: http://arxiv.org/abs/2311.16739v1
- Date: Tue, 28 Nov 2023 12:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:32:08.766451
- Title: As-Plausible-As-Possible: Plausibility-Aware Mesh Deformation Using 2D
Diffusion Priors
- Title(参考訳): as-plausible-as-possible:2次元拡散前兆を用いたプラウサビリティ・アウェアメッシュ変形
- Authors: Seungwoo Yoo, Kunho Kim, Vladimir G. Kim, Minhyuk Sung
- Abstract要約: 本稿では2次元拡散を利用したAs-Plausible-as-Possible(APAP)メッシュ変形手法を提案する。
我々のフレームワークは、メッシュの変形を表現するために、顔ごとのジャコビアンを用いており、メッシュ座標は微分可能なPoisson Solveによって計算される。
変形メッシュを描画し、得られた2D画像をスコア蒸留サンプリング(SDS)プロセスで使用することにより、事前訓練された2D拡散モデルから有意義な可視性を抽出することができる。
- 参考スコア(独自算出の注目度): 27.38128309340929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present As-Plausible-as-Possible (APAP) mesh deformation technique that
leverages 2D diffusion priors to preserve the plausibility of a mesh under
user-controlled deformation. Our framework uses per-face Jacobians to represent
mesh deformations, where mesh vertex coordinates are computed via a
differentiable Poisson Solve. The deformed mesh is rendered, and the resulting
2D image is used in the Score Distillation Sampling (SDS) process, which
enables extracting meaningful plausibility priors from a pretrained 2D
diffusion model. To better preserve the identity of the edited mesh, we
fine-tune our 2D diffusion model with LoRA. Gradients extracted by SDS and a
user-prescribed handle displacement are then backpropagated to the per-face
Jacobians, and we use iterative gradient descent to compute the final
deformation that balances between the user edit and the output plausibility. We
evaluate our method with 2D and 3D meshes and demonstrate qualitative and
quantitative improvements when using plausibility priors over
geometry-preservation or distortion-minimization priors used by previous
techniques.
- Abstract(参考訳): 本稿では,2次元拡散前処理を応用したas-plausible-as-possible (apap) メッシュ変形法を提案する。
我々のフレームワークは、メッシュ変形を表すために、顔ごとのジャコビアンを用いており、メッシュ頂点座標は、微分可能なポアソン解によって計算される。
変形メッシュを描画し、得られた2D画像をスコア蒸留サンプリング(SDS)プロセスで使用することにより、事前訓練された2D拡散モデルから有意義な可視性を抽出することができる。
編集メッシュのアイデンティティをよりよく保存するために、私たちはLoRAで2次元拡散モデルを微調整します。
SDSによって抽出された勾配とユーザが規定するハンドル変位は、顔ごとのジャコビアンに逆転し、ユーザー編集と出力可否のバランスをとる最終的な変形を計算するために反復勾配勾配を用いて計算する。
提案手法を2次元および3次元メッシュを用いて評価し,従来手法で用いた幾何保存や歪み最小化に先立って,定性的かつ定量的な精度向上を図った。
関連論文リスト
- Exploiting Diffusion Prior for Generalizable Pixel-Level Semantic
Prediction [93.35493328885372]
我々は、画素レベルのセマンティック予測タスクの先行として、事前訓練されたT2Iモデルを導入する。
我々は一連の実験を通して拡散過程を再構成し、入力されたRGB画像と出力予測分布との決定論的マッピングを確立する。
限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
論文 参考訳(メタデータ) (2023-11-30T18:59:44Z) - Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D
Generation [28.25023686484727]
拡散モデルは勾配のベクトル場を予測することを学習する。
学習した勾配の連鎖則を提案し、微分可能場のヤコビアンを通して拡散モデルのスコアをバックプロパゲートする。
大規模なLAIONデータセットでトレーニングされたStable Diffusionを含む,市販の拡散画像生成モデル上で,アルゴリズムを実行する。
論文 参考訳(メタデータ) (2022-12-01T18:56:37Z) - DNN Filter for Bias Reduction in Distribution-to-Distribution Scan
Matching [0.0]
静的なシーンの仮定に反するボクセルを排除するために,LIDAR点雲をダウンサンプリングする方法を提案する。
提案手法はソリューション整合性フィルタを用いて,D2DコントリビューションがPointNetベースの登録ネットワークからのローカル推定値と一致しないようなボクセルの識別とフラグ付けを行う。
論文 参考訳(メタデータ) (2022-11-08T07:08:08Z) - Self-supervised Human Mesh Recovery with Cross-Representation Alignment [20.69546341109787]
自己教師付きヒューマンメッシュリカバリ手法は、3Dアノテーション付きベンチマークデータセットの可用性と多様性が制限されているため、一般化性が低い。
頑健だがスパースな表現(2Dキーポイント)からの相補的情報を利用した相互表現アライメントを提案する。
この適応的相互表現アライメントは、偏差から明示的に学習し、相補的な情報(疎表現からの豊かさと密表現からの堅牢さ)をキャプチャする。
論文 参考訳(メタデータ) (2022-09-10T04:47:20Z) - Differentiable Rendering of Neural SDFs through Reparameterization [32.47993049026182]
ニューラルSDFにおける幾何学的シーンパラメータに対する正しい勾配を自動的に計算する手法を提案する。
提案手法は,地域サンプリング技術に基づいて,不連続性を考慮した連続的なワーピング機能を開発する。
我々の微分可能法は、多視点画像からの神経形状を最適化し、同等の3D再構成を生成できる。
論文 参考訳(メタデータ) (2022-06-10T20:30:26Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳(メタデータ) (2022-03-29T04:57:18Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳(メタデータ) (2022-02-01T21:21:56Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳(メタデータ) (2021-07-08T15:19:36Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。