論文の概要: R-Meshfusion: Reinforcement Learning Powered Sparse-View Mesh Reconstruction with Diffusion Priors

• arxiv url: http://arxiv.org/abs/2504.11946v1
• Date: Wed, 16 Apr 2025 10:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:39:33.273176
• Title: R-Meshfusion: Reinforcement Learning Powered Sparse-View Mesh Reconstruction with Diffusion Priors
• Title（参考訳）: R-Meshfusion:拡散前処理を用いた強化学習によるスパースビューメッシュ再構築
• Authors: Haoyang Wang, Liming Liu, Peiheng Wang, Junlin Hao, Jiangkai Wu, Xinggong Zhang,
• Abstract要約: マルチビュー画像からのメッシュ再構成はスパースビュー条件下で著しく劣化する。 拡散モデルの最近の進歩は、限られた入力から新しいビューを合成する強力な能力を示している。 本稿では,拡散モデルを利用して,スパースビューメッシュ再構成を原理的かつ信頼性の高い方法で向上する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.102039677329314
• License:
• Abstract: Mesh reconstruction from multi-view images is a fundamental problem in computer vision, but its performance degrades significantly under sparse-view conditions, especially in unseen regions where no ground-truth observations are available. While recent advances in diffusion models have demonstrated strong capabilities in synthesizing novel views from limited inputs, their outputs often suffer from visual artifacts and lack 3D consistency, posing challenges for reliable mesh optimization. In this paper, we propose a novel framework that leverages diffusion models to enhance sparse-view mesh reconstruction in a principled and reliable manner. To address the instability of diffusion outputs, we propose a Consensus Diffusion Module that filters unreliable generations via interquartile range (IQR) analysis and performs variance-aware image fusion to produce robust pseudo-supervision. Building on this, we design an online reinforcement learning strategy based on the Upper Confidence Bound (UCB) to adaptively select the most informative viewpoints for enhancement, guided by diffusion loss. Finally, the fused images are used to jointly supervise a NeRF-based model alongside sparse-view ground truth, ensuring consistency across both geometry and appearance. Extensive experiments demonstrate that our method achieves significant improvements in both geometric quality and rendering quality.
• Abstract（参考訳）: マルチビュー画像からのメッシュ再構成はコンピュータビジョンの基本的な問題であるが、その性能はスパースビュー条件下で著しく低下する。 拡散モデルの最近の進歩は、限られた入力から新しいビューを合成する強力な能力を示しているが、その出力は視覚的なアーティファクトに悩まされ、3D一貫性が欠如しており、信頼性の高いメッシュ最適化の課題となっている。 本稿では,拡散モデルを利用して,スパースビューメッシュ再構成を原理的かつ信頼性の高い方法で向上する新しいフレームワークを提案する。 拡散出力の不安定性に対処するため,IQR(Interquartile Range)解析により信頼できない世代をフィルタリングし,分散認識画像融合を行い,ロバストな擬似スーパービジョンを生成するConsensus Diffusion Moduleを提案する。 そこで我々は,上信頼境界(UCB)に基づくオンライン強化学習戦略を設計し,拡散損失によって導かれる拡張のための最も情報性の高い視点を適応的に選択する。 最後に、融合した画像は、視界の粗い真実とともに、NeRFベースのモデルを共同で監督し、幾何学と外観の整合性を確保するために使用される。 大規模な実験により, この手法は幾何学的品質とレンダリング品質の両方において, 大幅な改善を達成できることが示された。

関連論文リスト

• FaithDiff: Unleashing Diffusion Priors for Faithful Image Super-resolution [48.88184541515326]
  本稿では,忠実な画像SRのための遅延拡散モデル(LDM)のパワーをフル活用するために,FithDiffというシンプルで効果的な手法を提案する。 高品質画像上で事前学習した拡散モデルを凍結する既存の拡散ベースSR法とは対照的に,有用な情報を特定し,忠実な構造を復元する前に拡散を解き放つことを提案する。
  論文  参考訳（メタデータ） (2024-11-27T23:58:03Z)
• Advancing Diffusion Models: Alias-Free Resampling and Enhanced Rotational Equivariance [0.0]
  拡散モデルは、モデルによって引き起こされたアーティファクトと、画像の忠実性に制限された安定性によって、依然として挑戦されている。 拡散モデルのUNetアーキテクチャにエイリアスフリー再サンプリング層を統合することを提案する。 CIFAR-10, MNIST, MNIST-Mなどのベンチマークデータを用いた実験の結果, 画像品質が一貫した向上を示した。
  論文  参考訳（メタデータ） (2024-11-14T04:23:28Z)
• $R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement [5.810659946867557]
  Neural Radiance Fields (NeRF)に基づくメッシュ再構成は、コンピュータグラフィックス、仮想現実、医療画像などの様々なアプリケーションで人気がある。 マルチビュー画像からメッシュを段階的に生成し,最適化する新しいアルゴリズムを提案する。 本手法は,メッシュレンダリングの品質と幾何学的品質の両方において,高い競争力とロバストな性能を提供する。
  論文  参考訳（メタデータ） (2024-08-19T16:33:17Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Robust Single Image Dehazing Based on Consistent and Contrast-Assisted Reconstruction [95.5735805072852]
  画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。 具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。 我々の手法は最先端のアプローチを大きく上回っている。
  論文  参考訳（メタデータ） (2022-03-29T08:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。