論文の概要: RANRAC: Robust Neural Scene Representations via Random Ray Consensus

• arxiv url: http://arxiv.org/abs/2312.09780v2
• Date: Fri, 19 Apr 2024 14:16:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 19:57:15.214486
• Title: RANRAC: Robust Neural Scene Representations via Random Ray Consensus
• Title（参考訳）: RANRAC:ランダム・レイ・コンセンサスによるロバスト・ニューラルシーン表現
• Authors: Benno Buschmann, Andreea Dogaru, Elmar Eisemann, Michael Weinmann, Bernhard Egger,
• Abstract要約: RANRAC(RANdom RAy Consensus)は、一貫性のないデータの影響を排除するための効率的な手法である。 我々はRANSACパラダイムのファジィ適応を定式化し、大規模モデルへの適用を可能にした。 その結果, 新規な視点合成のための最先端のロバストな手法と比較して, 顕著な改善が見られた。
• 参考スコア（独自算出の注目度）: 12.161889666145127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning-based scene representations such as neural radiance fields or light field networks, that rely on fitting a scene model to image observations, commonly encounter challenges in the presence of inconsistencies within the images caused by occlusions, inaccurately estimated camera parameters or effects like lens flare. To address this challenge, we introduce RANdom RAy Consensus (RANRAC), an efficient approach to eliminate the effect of inconsistent data, thereby taking inspiration from classical RANSAC based outlier detection for model fitting. In contrast to the down-weighting of the effect of outliers based on robust loss formulations, our approach reliably detects and excludes inconsistent perspectives, resulting in clean images without floating artifacts. For this purpose, we formulate a fuzzy adaption of the RANSAC paradigm, enabling its application to large scale models. We interpret the minimal number of samples to determine the model parameters as a tunable hyperparameter, investigate the generation of hypotheses with data-driven models, and analyze the validation of hypotheses in noisy environments. We demonstrate the compatibility and potential of our solution for both photo-realistic robust multi-view reconstruction from real-world images based on neural radiance fields and for single-shot reconstruction based on light-field networks. In particular, the results indicate significant improvements compared to state-of-the-art robust methods for novel-view synthesis on both synthetic and captured scenes with various inconsistencies including occlusions, noisy camera pose estimates, and unfocused perspectives. The results further indicate significant improvements for single-shot reconstruction from occluded images. Project Page: https://bennobuschmann.com/ranrac/
• Abstract（参考訳）: 画像観察にシーンモデルを適用することに依存するニューラルラディアンスフィールドや光場ネットワークのような学習ベースのシーン表現は、閉塞による画像内の不整合、不正確な推定カメラパラメータ、レンズフレアのような効果といった問題に一般的に遭遇する。 この課題に対処するために、random RAy Consensus (RANRAC) を導入し、一貫性のないデータの影響を排除し、モデルフィッティングのための古典的RANSACに基づく外れ値検出からインスピレーションを得る。 ロバストな損失定式化に基づくアウトレーヤ効果の低下とは対照的に,本手法では不整合な視点を確実に検出・排除し,フローティングアーティファクトを使わずにクリーンな画像を生成する。 この目的のために、RANSACパラダイムのファジィ適応を定式化し、大規模モデルへの適用を可能にする。 モデルパラメータを調整可能なハイパーパラメータとして決定するために最小限のサンプル数を解釈し、データ駆動モデルを用いて仮説の生成を調査し、ノイズの多い環境下での仮説の検証を分析する。 我々は,ニューラルネットワークを用いた実世界の画像から,光フィールドネットワークに基づく単一ショット再構成と,フォトリアリスティック・ロバストな多視点再構成を実現するためのソリューションの互換性と可能性を実証した。 特に,合成シーンと撮影シーンの両面に,オクルージョン,ノイズカメラのポーズ推定,非焦点視点などの不整合性があるような,最先端のロバストな合成手法と比較して,顕著な改善が認められた。 さらに, 閉塞画像からの単発再建に有意な改善が認められた。 Project Page: https://bennobuschmann.com/ranrac/

関連論文リスト

• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• Uncertainty modeling for fine-tuned implicit functions [10.902709236602536]
  入射関数は、スパースビューから詳細な物体形状を再構成するコンピュータビジョンにおいて重要な役割を担っている。 暗黙関数における不確実性推定手法であるDropsemblesを導入する。 その結果,Dropsemblesは深層アンサンブルの精度とキャリブレーションレベルを達成するが,計算コストは著しく低いことがわかった。
  論文  参考訳（メタデータ） (2024-06-17T20:46:18Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields [0.0]
  Inverted Neural Radiance Fields (iNeRF) アルゴリズムの改良を目標とし、画像ポーズ推定問題をNeRFに基づく反復線形最適化として定義する。 NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい空間表現モデルである。
  論文  参考訳（メタデータ） (2023-10-05T14:27:06Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Near-filed SAR Image Restoration with Deep Learning Inverse Technique: A Preliminary Study [5.489791364472879]
  近接場合成開口レーダ(SAR)は、ターゲットの散乱分布ホットスポットの高解像度画像を提供する。 一方、撮像の結果は、サイドローブ、クラッタ、ノイズから必然的に劣化する。 イメージを復元するために、現在の手法では、例えば、点拡散関数(PSF)は空間的に一貫したものであり、ターゲットはスパース点散乱器などで構成されている。 我々は、分解モデルを空間的に可変な複素畳み込みモデルに再構成し、近接場SARのシステム応答を考慮した。 モデルに基づくディープラーニングネットワークは、復元するために設計されている
  論文  参考訳（メタデータ） (2022-11-28T01:28:33Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。