論文の概要: SRIF: Semantic Shape Registration Empowered by Diffusion-based Image Morphing and Flow Estimation

• arxiv url: http://arxiv.org/abs/2409.11682v2
• Date: Thu, 3 Oct 2024 13:03:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 19:50:48.206049
• Title: SRIF: Semantic Shape Registration Empowered by Diffusion-based Image Morphing and Flow Estimation
• Title（参考訳）: SRIF:拡散型画像モーフィングとフロー推定を利用した意味的形状登録
• Authors: Mingze Sun, Chen Guo, Puhua Jiang, Shiwei Mao, Yurun Chen, Ruqi Huang,
• Abstract要約: 拡散型画像モーフィングとフロー推定に基づく新しいセマンティック形状登録フレームワークSRIFを提案する。 SRIFは、挑戦的な形状対に関する高品質な密接な対応を実現するが、その間にスムーズで意味のある意味を与える。
• 参考スコア（独自算出の注目度）: 2.336821026049481
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose SRIF, a novel Semantic shape Registration framework based on diffusion-based Image morphing and Flow estimation. More concretely, given a pair of extrinsically aligned shapes, we first render them from multi-views, and then utilize an image interpolation framework based on diffusion models to generate sequences of intermediate images between them. The images are later fed into a dynamic 3D Gaussian splatting framework, with which we reconstruct and post-process for intermediate point clouds respecting the image morphing processing. In the end, tailored for the above, we propose a novel registration module to estimate continuous normalizing flow, which deforms source shape consistently towards the target, with intermediate point clouds as weak guidance. Our key insight is to leverage large vision models (LVMs) to associate shapes and therefore obtain much richer semantic information on the relationship between shapes than the ad-hoc feature extraction and alignment. As a consequence, SRIF achieves high-quality dense correspondences on challenging shape pairs, but also delivers smooth, semantically meaningful interpolation in between. Empirical evidence justifies the effectiveness and superiority of our method as well as specific design choices. The code is released at https://github.com/rqhuang88/SRIF.
• Abstract（参考訳）: 本稿では,拡散型画像モーフィングとフロー推定に基づく新しいセマンティック形状登録フレームワークSRIFを提案する。 より具体的には、外在的に整列した一対の形状を条件に、まず複数のビューからそれらを描画し、拡散モデルに基づく画像補間フレームワークを用いて中間画像列を生成する。 画像は後に動的3次元ガウススプレイティングフレームワークに入力され、画像モーフィング処理に関する中間点雲の再構成と後処理を行う。 最後に,本手法を応用した新たな登録モジュールを提案する。このモジュールはソース形状を目標に向かって一貫した変形をし,中間点雲を弱い誘導として利用する。 我々の重要な洞察は、大きな視覚モデル(LVM)を利用して形状を関連付けることで、アドホックな特徴抽出やアライメントよりも、形状間の関係に関するよりリッチな意味情報を得ることです。 その結果、SRIFは難解な形状対に関する高品質な密接な対応を達成できるだけでなく、その間に滑らかで意味論的に意味のある補間をもたらす。 経験的証拠は,本手法の有効性と優越性,および設計選択を正当化する。 コードはhttps://github.com/rqhuang88/SRIFで公開されている。

関連論文リスト

• DreamMover: Leveraging the Prior of Diffusion Models for Image Interpolation with Large Motion [35.60459492849359]
  本研究では,大きな動きを持つ画像対から中間画像を生成する問題について検討する。 大きな動きのため、中間的な意味情報は入力画像に欠落する可能性がある。 3つの主要コンポーネントを持つ新しいイメージフレームワークであるDreamMoverを提案する。
  論文  参考訳（メタデータ） (2024-09-15T04:09:12Z)
• RecDiffusion: Rectangling for Image Stitching with Diffusion Models [53.824503710254206]
  画像縫合整形のための新しい拡散学習フレームワーク textbfRecDiffusion を提案する。 このフレームワークは運動拡散モデル(MDM)を組み合わせて運動場を生成し、縫合された画像の不規則な境界から幾何学的に修正された中間体へ効果的に遷移する。
  論文  参考訳（メタデータ） (2024-03-28T06:22:45Z)
• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• Non-Rigid Shape Registration via Deep Functional Maps Prior [1.9249120068573227]
  本研究では,非剛体形状登録のための学習ベースフレームワークを提案する。 我々は、高次元埋め込みによって誘導される対応によって誘導されるターゲットポイントクラウドに向かって、ソースメッシュを変形する。 我々のパイプラインは、厳密でないクラウドマッチングのいくつかのベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-11-08T06:52:57Z)
• FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators [37.39693977657165]
  イメージとポイントクラウド間のクロスモダリティ機能をマッチングすることは、イメージツーポイントクラウド登録の根本的な問題である。 まず,事前学習した大規模モデルを用いて,画像と点雲のモダリティを統一することを提案する。 画像から画像への拡散モデルから抽出した拡散特徴と呼ばれる中間的特徴が,画像と点雲の間で意味的に一致していることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:57:23Z)
• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
  本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。 特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。 我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
  論文  参考訳（メタデータ） (2020-04-29T10:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。