論文の概要: UFORecon: Generalizable Sparse-View Surface Reconstruction from Arbitrary and UnFavOrable Sets

• arxiv url: http://arxiv.org/abs/2403.05086v3
• Date: Fri, 17 May 2024 13:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 18:22:03.483749
• Title: UFORecon: Generalizable Sparse-View Surface Reconstruction from Arbitrary and UnFavOrable Sets
• Title（参考訳）: UFORecon: 任意および未使用の集合からの一般化可能なスパースビュー表面の再構成
• Authors: Youngju Na, Woo Jae Kim, Kyu Beom Han, Suhyeon Ha, Sung-eui Yoon,
• Abstract要約: 入力ビューの組み合わせの有効性を示すために、ビュー合成スコアを導入し、検証する。 これを実現するために、ソース画像間の相互作用とビルド相関フラストラムのモデル化にクロスビューマッチングトランスフォーマを適用した。 提案手法は,ビュー・コンビネーション・ジェネリゼーション・ジェネリザビリティにおいて,従来の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 20.767590006724117
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generalizable neural implicit surface reconstruction aims to obtain an accurate underlying geometry given a limited number of multi-view images from unseen scenes. However, existing methods select only informative and relevant views using predefined scores for training and testing phases. This constraint renders the model impractical in real-world scenarios, where the availability of favorable combinations cannot always be ensured. We introduce and validate a view-combination score to indicate the effectiveness of the input view combination. We observe that previous methods output degenerate solutions under arbitrary and unfavorable sets. Building upon this finding, we propose UFORecon, a robust view-combination generalizable surface reconstruction framework. To achieve this, we apply cross-view matching transformers to model interactions between source images and build correlation frustums to capture global correlations. Additionally, we explicitly encode pairwise feature similarities as view-consistent priors. Our proposed framework significantly outperforms previous methods in terms of view-combination generalizability and also in the conventional generalizable protocol trained with favorable view-combinations. The code is available at https://github.com/Youngju-Na/UFORecon.
• Abstract（参考訳）: 一般化可能な暗黙的表面再構成は、見えないシーンから限られた数の多視点画像が与えられた場合に、正確な基礎となる幾何を求めることを目的としている。 しかし、既存の手法では、トレーニングとテストのフェーズで事前に定義されたスコアを使用して、情報的および関連するビューのみを選択する。 この制約は、適切な組み合わせの可用性を常に保証できない現実のシナリオにおいて、モデルを実用的でないものにします。 入力ビューの組み合わせの有効性を示すために、ビュー合成スコアを導入し、検証する。 従来の手法は任意かつ好ましくない集合の下で解を退化させる。 この知見に基づいて,堅牢なビュー合成可能な表面再構成フレームワークであるUFOReconを提案する。 これを実現するために、ソース画像間の相互作用をモデル化するクロスビューマッチング変換器と、大域的な相関を捉えるための相関フラストラムを構築する。 さらに、ペアワイズ機能の類似性をビュー一貫性プリミティブとして明示的にエンコードする。 提案手法は,ビュー・コンビネーションの一般化可能性や,ビュー・コンビネーションを訓練した従来の一般化可能なプロトコルにおいて,従来の手法よりも優れていた。 コードはhttps://github.com/Youngju-Na/UFOReconで公開されている。

関連論文リスト

• Breaking the Frame: Image Retrieval by Visual Overlap Prediction [53.17564423756082]
  本稿では,隠蔽や複雑なシーンを効果的に扱う新しい視覚的位置認識手法,VOPを提案する。 提案手法は,高コストな特徴検出とマッチングを必要とせず,可視画像区間の識別を可能にする。
  論文  参考訳（メタデータ） (2024-06-23T20:00:20Z)
• Joint Linked Component Analysis for Multiview Data [6.588932144201398]
  データビュー毎に関節構造と個々の構造が存在する行列分解モデルを定式化する。 次に、新たなペナルティ項を持つ目的関数を提案し、同時推定とランク選択を実現する。
  論文  参考訳（メタデータ） (2024-06-17T17:25:23Z)
• Multi-Scene Generalized Trajectory Global Graph Solver with Composite Nodes for Multiple Object Tracking [61.69892497726235]
  複合ノードメッセージパッシングネットワーク(CoNo-Link)は、超長いフレーム情報を関連付けるためのフレームワークである。 オブジェクトをノードとして扱う従来の方法に加えて、このネットワークは情報インタラクションのためのノードとしてオブジェクトトラジェクトリを革新的に扱う。 我々のモデルは、合成ノードを追加することで、より長い時間スケールでより良い予測を学習することができる。
  論文  参考訳（メタデータ） (2023-12-14T14:00:30Z)
• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• Rotation-Constrained Cross-View Feature Fusion for Multi-View Appearance-based Gaze Estimation [16.43119580796718]
  本研究は、一般化可能な多視点視線推定タスクと、この問題に対処するためのクロスビュー特徴融合法を提案する。 ペア画像に加えて,2台のカメラ間の相対回転行列を付加入力とする。 提案するネットワークは,相対回転を制約として,回転可能な特徴表現を抽出することを学ぶ。
  論文  参考訳（メタデータ） (2023-05-22T04:29:34Z)
• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [49.49773108695526]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• RelPose: Predicting Probabilistic Relative Rotation for Single Objects in the Wild [73.1276968007689]
  本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。 本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T17:59:59Z)
• AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild [77.43884383743872]
  本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。 我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。 また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
  論文  参考訳（メタデータ） (2020-10-26T03:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。