論文の概要: Puzzle Similarity: A Perceptually-guided No-Reference Metric for Artifact Detection in 3D Scene Reconstructions

• arxiv url: http://arxiv.org/abs/2411.17489v1
• Date: Tue, 26 Nov 2024 14:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:10.782958
• Title: Puzzle Similarity: A Perceptually-guided No-Reference Metric for Artifact Detection in 3D Scene Reconstructions
• Title（参考訳）: プラグル類似性:3次元シーン再構成のための知覚誘導非参照指標
• Authors: Nicolai Hermann, Jorge Condor, Piotr Didyk,
• Abstract要約: 本稿では,新しい視点でアーティファクトをローカライズする手法であるPuzzle similarityを提案する。 提案手法は, 人的評価に関連し, 新たな視点での成果物のローカライズを成功させるだけでなく, 直接参照なしでも実現可能である。 我々は新しいメトリクスを活用して、画像の自動復元、ガイド付き取得、スパース入力からの3D再構成などの応用を強化することができる。
• 参考スコア（独自算出の注目度）: 6.735527828654709
• License:
• Abstract: Modern reconstruction techniques can effectively model complex 3D scenes from sparse 2D views. However, automatically assessing the quality of novel views and identifying artifacts is challenging due to the lack of ground truth images and the limitations of no-reference image metrics in predicting detailed artifact maps. The absence of such quality metrics hinders accurate predictions of the quality of generated views and limits the adoption of post-processing techniques, such as inpainting, to enhance reconstruction quality. In this work, we propose a new no-reference metric, Puzzle Similarity, which is designed to localize artifacts in novel views. Our approach utilizes image patch statistics from the input views to establish a scene-specific distribution that is later used to identify poorly reconstructed regions in the novel views. We test and evaluate our method in the context of 3D reconstruction; to this end, we collected a novel dataset of human quality assessment in unseen reconstructed views. Through this dataset, we demonstrate that our method can not only successfully localize artifacts in novel views, correlating with human assessment, but do so without direct references. Surprisingly, our metric outperforms both no-reference metrics and popular full-reference image metrics. We can leverage our new metric to enhance applications like automatic image restoration, guided acquisition, or 3D reconstruction from sparse inputs.
• Abstract（参考訳）: 現代の再構築技術は、スパース2Dビューから複雑な3Dシーンを効果的にモデル化することができる。 しかし, 基礎的真理像の欠如や, 詳細なアーティファクトマップの予測における非参照画像メトリクスの限界により, 新たなビューの質を自動的に評価し, アーティファクトを特定することは困難である。 このような品質指標の欠如は、生成されたビューの品質の正確な予測を妨げ、インペインティングのような後処理技術の採用を制限し、再構築品質を向上させる。 そこで本研究では,新しい視点でアーティファクトをローカライズする手法であるPuzzle similarityを提案する。 提案手法は,入力ビューから得られた画像パッチの統計情報を用いて,後述の新規ビューの貧弱な再構成領域の特定に使用されるシーン固有の分布を確立する。 提案手法を3次元再構成の文脈で検証し評価し,その目的を達成するために,見知らぬ再生視点における人的品質評価の新しいデータセットを収集した。 このデータセットを通じて,本手法は人的評価に関連し,新たな視点で成果物をローカライズするだけでなく,直接参照なしでも実現可能であることを示す。 驚いたことに、私たちのメトリクスは、ノン参照メトリクスと一般的なフル参照イメージメトリクスの両方より優れています。 我々は新しいメトリクスを活用して、画像の自動復元、ガイド付き取得、スパース入力からの3D再構成などの応用を強化することができる。

関連論文リスト

• Mismatched: Evaluating the Limits of Image Matching Approaches and Benchmarks [9.388897214344572]
  2次元画像からの3次元3次元再構成はコンピュータビジョンにおける活発な研究分野である。 伝統的にこの作業にはパラメトリック技術が用いられてきた。 近年の進歩は、学習ベースの方法にシフトしている。
  論文  参考訳（メタデータ） (2024-08-29T11:16:34Z)
• MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
  MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。 暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
  論文  参考訳（メタデータ） (2024-07-18T17:50:03Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
  暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。 本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。 本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
  論文  参考訳（メタデータ） (2022-07-22T10:05:36Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Black-Box Test-Time Shape REFINEment for Single View 3D Reconstruction [57.805334118057665]
  文献中の任意のブラックボックス方式のパイプラインに容易に組み込むことができる後処理メッシュ改善ステップであるREFINEを提案する。 テスト時には、REFINEはメッシュ毎のネットワークインスタンスを最適化し、メッシュと所定のオブジェクトビュー間の一貫性を促進する。
  論文  参考訳（メタデータ） (2021-08-23T03:28:47Z)
• Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
  本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。 提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。 提案手法を2つの実験グループを用いて検証した。
  論文  参考訳（メタデータ） (2021-01-23T01:50:26Z)
• Single View Metrology in the Wild [94.7005246862618]
  本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。 本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。 いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
  論文  参考訳（メタデータ） (2020-07-18T22:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。