論文の概要: Robust Inverse Graphics via Probabilistic Inference
- arxiv url: http://arxiv.org/abs/2402.01915v2
- Date: Tue, 11 Jun 2024 17:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 22:42:29.124014
- Title: Robust Inverse Graphics via Probabilistic Inference
- Title(参考訳): 確率的推論によるロバスト逆グラフ
- Authors: Tuan Anh Le, Pavel Sountsov, Matthew D. Hoffman, Ben Lee, Brian Patton, Rif A. Saurous,
- Abstract要約: 雨や雪、霧といった汚職の存在下で、1枚の画像から3Dシーンを推測する方法を示す。
ベイズ的アプローチによる頑健な逆グラフ (RIG) を提案する。
- 参考スコア(独自算出の注目度): 10.903825934420112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How do we infer a 3D scene from a single image in the presence of corruptions like rain, snow or fog? Straightforward domain randomization relies on knowing the family of corruptions ahead of time. Here, we propose a Bayesian approach-dubbed robust inverse graphics (RIG)-that relies on a strong scene prior and an uninformative uniform corruption prior, making it applicable to a wide range of corruptions. Given a single image, RIG performs posterior inference jointly over the scene and the corruption. We demonstrate this idea by training a neural radiance field (NeRF) scene prior and using a secondary NeRF to represent the corruptions over which we place an uninformative prior. RIG, trained only on clean data, outperforms depth estimators and alternative NeRF approaches that perform point estimation instead of full inference. The results hold for a number of scene prior architectures based on normalizing flows and diffusion models. For the latter, we develop reconstruction-guidance with auxiliary latents (ReGAL)-a diffusion conditioning algorithm that is applicable in the presence of auxiliary latent variables such as the corruption. RIG demonstrates how scene priors can be used beyond generation tasks.
- Abstract(参考訳): 雨や雪、霧といった汚職の存在下で、1枚の画像から3Dシーンを推測するにはどうすればよいのか?
ストレートフォワード領域のランダム化は、前もって汚職の家族を知ることに依存する。
本稿では,前向きの強いシーンと,前向きの非形式的一様腐敗に依存した,ベイズ的アプローチによる頑健な逆グラフ(RIG)を提案する。
1つの画像が与えられた後、RIGはシーンと汚職に対して共同で後部推論を行う。
我々は、このアイデアを、前もって神経放射野(NeRF)シーンを訓練し、二次的なNeRFを用いて、非形式的な前置詞を表わす腐敗を表現することで実証する。
クリーンなデータのみに基づいてトレーニングされたRIGは、完全な推論の代わりにポイント推定を行うディープ推定器や代替のNeRFアプローチより優れている。
その結果、フローの正規化と拡散モデルに基づく、多くのシーン先行アーキテクチャが得られた。
後者では,補助潜伏変数 (ReGAL) を用いた拡散条件付き再構成誘導法を, 汚職などの補助潜伏変数の存在下で適用する。
RIGは、シーンプリエントが生成タスクを超えてどのように使用できるかをデモしている。
関連論文リスト
- Making Reconstruction-based Method Great Again for Video Anomaly
Detection [64.19326819088563]
ビデオの異常検出は重要な問題だが、難しい問題だ。
既存の再構成に基づく手法は、昔ながらの畳み込みオートエンコーダに依存している。
連続フレーム再構築のための新しいオートエンコーダモデルを提案する。
論文 参考訳(メタデータ) (2023-01-28T01:57:57Z) - Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。
本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-12T17:45:03Z) - Covariance-aware Feature Alignment with Pre-computed Source Statistics
for Test-time Adaptation to Multiple Image Corruptions [11.859913430860335]
実世界の画像認識システムは、しばしば破損した入力画像に直面し、それが分散シフトを引き起こし、モデルの性能を低下させる。
テスト時間適応(TTA)は、この問題に対処できる設定の1つです。
本稿では,テスト中の分散ギャップに対処するために,共分散認識特徴アライメント(CAFe)と呼ばれる新しいTTA手法を提案する。
論文 参考訳(メタデータ) (2022-04-28T02:50:43Z) - Benchmarks for Corruption Invariant Person Re-identification [31.919264399996475]
本研究では,マーケット-1501,CUHK03,MSMT17,RegDB,SYSU-MM01など,単品間および多品間データセットにおける汚い不変性学習について検討した。
トランスフォーマーベースのモデルは、CNNベースのモデルと比較して、破損したイメージに対してより堅牢である。
クロスデータセットの一般化は、腐敗の堅牢性を高めることで改善される。
論文 参考訳(メタデータ) (2021-11-01T12:14:28Z) - Inverse Problems Leveraging Pre-trained Contrastive Representations [88.70821497369785]
破損したデータの表現を復元するための新しい逆問題群について検討する。
コントラスト目的を用いた教師付きインバージョン手法を提案する。
提案手法は,幅広いフォワード演算子においてラベル付きデータのごく一部であっても,エンド・ツー・エンドのベースラインよりも優れる。
論文 参考訳(メタデータ) (2021-10-14T15:06:30Z) - A Contrastive Learning Approach for Training Variational Autoencoder
Priors [137.62674958536712]
変分オートエンコーダ(VAE)は、多くの領域で応用される強力な可能性に基づく生成モデルの一つである。
VAEsが生成性に乏しいことの1つの説明は、事前の分布が集合の近似的な後部と一致しないという、事前の穴の問題である。
本研究では, 基底分布の積と再重み付け係数によって定義されるエネルギーベースの事前定義を行い, 基底を集合体後部へ近づけるようにした。
論文 参考訳(メタデータ) (2020-10-06T17:59:02Z) - RAIN: A Simple Approach for Robust and Accurate Image Classification
Networks [156.09526491791772]
既存の敵防衛手法の大部分は、予測精度を犠牲にして堅牢性を実現することが示されている。
本稿では,ロバストおよび高精度画像分類N(RAIN)と呼ぶ新しい前処理フレームワークを提案する。
RAINは入力に対してランダム化を適用して、モデルフォワード予測パスと後方勾配パスの関係を壊し、モデルロバスト性を改善する。
STL10 と ImageNet のデータセットを用いて、様々な種類の敵攻撃に対する RAIN の有効性を検証する。
論文 参考訳(メタデータ) (2020-04-24T02:03:56Z) - Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance
Disparity Estimation [51.17232267143098]
ステレオ画像から3次元物体を検出するための新しいシステムDisp R-CNNを提案する。
我々は、LiDAR点雲を必要とせずに、統計的形状モデルを用いて、密度の異なる擬似地下構造を生成する。
KITTIデータセットの実験によると、LiDARの基盤構造がトレーニング時に利用できない場合でも、Disp R-CNNは競争性能を達成し、平均精度で従来の最先端手法を20%上回っている。
論文 参考訳(メタデータ) (2020-04-07T17:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。