論文の概要: SIR-DIFF: Sparse Image Sets Restoration with Multi-View Diffusion Model

• arxiv url: http://arxiv.org/abs/2503.14463v1
• Date: Tue, 18 Mar 2025 17:42:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:40.888603
• Title: SIR-DIFF: Sparse Image Sets Restoration with Multi-View Diffusion Model
• Title（参考訳）: SIR-DIFF:多視点拡散モデルによるスパース画像の復元
• Authors: Yucheng Mao, Boyang Wang, Nilesh Kulkarni, Jeong Joon Park,
• Abstract要約: 我々は、同じシーンの複数の写真を共同でデノベートすることで、異なる視点からの画像復元に取り組む。 我々の中心となる仮説は、共有シーンをキャプチャする劣化画像には、補完的な情報が含まれており、組み合わせると復元問題をよりよく制約する、というものである。 我々のモデルは3次元一貫した画像を出力するように訓練されており、堅牢なマルチビュー統合を必要とするアプリケーションにとって有望なツールである。
• 参考スコア（独自算出の注目度）: 9.821302965981515
• License:
• Abstract: The computer vision community has developed numerous techniques for digitally restoring true scene information from single-view degraded photographs, an important yet extremely ill-posed task. In this work, we tackle image restoration from a different perspective by jointly denoising multiple photographs of the same scene. Our core hypothesis is that degraded images capturing a shared scene contain complementary information that, when combined, better constrains the restoration problem. To this end, we implement a powerful multi-view diffusion model that jointly generates uncorrupted views by extracting rich information from multi-view relationships. Our experiments show that our multi-view approach outperforms existing single-view image and even video-based methods on image deblurring and super-resolution tasks. Critically, our model is trained to output 3D consistent images, making it a promising tool for applications requiring robust multi-view integration, such as 3D reconstruction or pose estimation.
• Abstract（参考訳）: コンピュータビジョンコミュニティは、単一視点の劣化した写真から真のシーン情報をデジタルに復元するための多くの技術を開発してきた。 本研究では,同じシーンの複数の写真を共同でデノベートすることで,異なる視点からの画像復元に取り組む。 我々の中心となる仮説は、共有シーンをキャプチャする劣化画像には、補完的な情報が含まれており、組み合わせると復元問題をよりよく制約する、というものである。 この目的のために,多視点関係からリッチな情報を抽出することにより,非破壊的なビューを共同で生成する強力な多視点拡散モデルを実装した。 実験の結果,マルチビューアプローチは既存の単一視点画像よりも優れており,画像の劣化や超解像処理においてビデオベースの手法も優れていることがわかった。 重要な点として、我々のモデルは3D一貫した画像を出力するように訓練されており、3D再構成やポーズ推定といった堅牢なマルチビュー統合を必要とするアプリケーションにとって有望なツールである。

関連論文リスト

• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention [87.02613021058484]
  単一視点画像から高解像度のマルチビュー画像を生成する新しい多視点拡散法であるEra3Dを紹介する。 Era3Dは、最大512*512の解像度で高品質なマルチビュー画像を生成し、複雑さを12倍に削減する。
  論文  参考訳（メタデータ） (2024-05-19T17:13:16Z)
• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。