論文の概要: Learning 3D Reconstruction with Priors in Test Time
- arxiv url: http://arxiv.org/abs/2604.03878v1
- Date: Sat, 04 Apr 2026 22:10:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.810873
- Title: Learning 3D Reconstruction with Priors in Test Time
- Title（参考訳）: テスト時間に先行する3次元再構成の学習
- Abstract要約: 本稿では,事前学習した画像のみのネットワークを再トレーニングしたり修正したりすることなく,3Dタスクを改善するための事前処理を組み込んだマルチビュートランスフォーマー(MVT)のテストタイムフレームワークを提案する。
提案手法は,ベースMVTよりも高いマージンで連続的に性能を向上する。
- 参考スコア（独自算出の注目度）: 38.04707926304637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a test-time framework for multiview Transformers (MVTs) that incorporates priors (e.g., camera poses, intrinsics, and depth) to improve 3D tasks without retraining or modifying pre-trained image-only networks. Rather than feeding priors into the architecture, we cast them as constraints on the predictions and optimize the network at inference time. The optimization loss consists of a self-supervised objective and prior penalty terms. The self-supervised objective captures the compatibility among multi-view predictions and is implemented using photometric or geometric loss between renderings from other views and each view itself. Any available priors are converted into penalty terms on the corresponding output modalities. Across a series of 3D vision benchmarks, including point map estimation and camera pose estimation, our method consistently improves performance over base MVTs by a large margin. On the ETH3D, 7-Scenes, and NRGBD datasets, our method reduces the point-map distance error by more than half compared with the base image-only models. Our method also outperforms retrained prior-aware feed-forward methods, demonstrating the effectiveness of our test-time constrained optimization (TCO) framework for incorporating priors into 3D vision tasks.
- Abstract（参考訳）: 本稿では,事前学習(例えばカメラポーズ,内在,奥行き)を取り入れたマルチビュートランスフォーマー(MVT)のテストタイムフレームワークを導入し,事前学習した画像のみのネットワークをリトレーニングしたり修正したりすることなく,3Dタスクを改善する。
事前情報をアーキテクチャに入力するのではなく、予測の制約としてキャストし、推論時にネットワークを最適化します。
最適化損失は、自己監督された目的条件と事前のペナルティ条件からなる。
自己監督対象は、多視点予測間の互換性を捉え、他のビューからのレンダリングと各ビュー自体のレンダリング間の光度または幾何学的損失を用いて実装される。
利用可能な任意の事前条件は、対応する出力モダリティのペナルティ項に変換される。
ポイントマップ推定やカメラポーズ推定を含む一連の3次元視覚ベンチマークにおいて,本手法はベースMVTよりも高いマージンで連続的に性能を向上する。
ETH3D, 7-Scenes, NRGBDデータセットでは, 基本画像のみのモデルと比較して, ポイントマップ距離誤差を半減する。
また,テスト時間制約最適化(TCO)フレームワークの有効性を3次元視覚タスクに組み込むことにより,トレーニング済みのフィードフォワード法よりも優れることを示す。
関連論文リスト
- JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation [0.0]
JEPADepthは、補完的なトレーニングの目的を取り入れた、自己監督型の単眼深度フレームワークである。
本稿では,DINOv3 Vision Transformerエンコーダの表現空間において,マスク付き予測損失を計算した標準光度パイプラインを拡張した。
予測器は、構造化マスキングの下の可視的コンテキスト領域埋め込みからターゲット領域埋め込みを推定し、推論時にターゲットエンコーダと共に破棄し、展開コストを加算しない。
論文 参考訳（メタデータ） (2026-07-29T08:23:46Z) - PRISM: Feed-Forward Single-Image 3D Reconstruction via Geometric Warp-Residual Modeling [11.124244013253806]
単一の画像から3Dシーンを再構築することは、コンピュータビジョンの根本的な課題である。
近年の手法は,カメラ制御ビデオ拡散モデルを活用することで,優れた性能を実現している。
PRISMは,多視点遅延予測をパラメータフリーな幾何前処理に分解するフィードフォワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-24T05:48:20Z) - Registration-Free Learnable Multi-View Capture of Faces in Dense Semantic Correspondence [30.38509036690193]
MOCHIは、登録したトレーニングデータを必要とせずにトレーニングされた多視点3D顔予測フレームワークである。
標準点間距離は、登録不要設定でトレーニングの不安定性と視覚的アーティファクトを誘導する。
代わりに、よりスムーズな勾配とより優れた再構成忠実度を提供する点マップと正規化に基づく損失を提案する。
論文 参考訳（メタデータ） (2026-05-02T13:59:29Z) - From Editor to Dense Geometry Estimator [77.21804448599009]
密度幾何予測のための拡散変換器(DiT)アーキテクチャに基づく高度な編集モデルを適用するフレームワークである textbfFE2E を紹介する。
FE2EはETH3Dデータセットで35%以上のパフォーマンス向上を実現し、100$times$データでトレーニングされたDepthAnythingシリーズを上回っている。
論文 参考訳（メタデータ） (2025-09-04T15:58:50Z) - How to Use Diffusion Priors under Sparse Views? [29.738350228085928]
Inline Prior Guided Score Matching is proposed to provide visual supervision over sparse view in 3D reconstruction。
提案手法は,最先端の復元品質を実現する。
論文 参考訳（メタデータ） (2024-12-03T07:31:54Z) - VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving [44.91443640710085]
VisionPADは、自律運転におけるビジョン中心のアルゴリズムのための、新しい自己教師付き事前訓練パラダイムである。
画像のみを監督として多視点表現を再構築する。
これにより、3Dオブジェクトの検出、占有率予測、マップセグメンテーションのパフォーマンスが大幅に向上する。
論文 参考訳（メタデータ） (2024-11-22T03:59:41Z) - A Closer Look at Invariances in Self-supervised Pre-training for 3D
Vision [0.0]
3Dビジョンのための自己監督型事前訓練は近年研究の関心が高まっている。
本稿では,様々な事前学習手法を検証可能な統合フレームワークを提案する。
コントラスト学習を用いた3次元エンコーダと深度マップエンコーダを併用した簡易かつ効果的な事前学習法を提案する。
論文 参考訳（メタデータ） (2022-07-11T16:44:15Z) - Multi-initialization Optimization Network for Accurate 3D Human Pose and
Shape Estimation [75.44912541912252]
我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。
第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。
第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。
最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
論文 参考訳（メタデータ） (2021-12-24T02:43:58Z) - Riggable 3D Face Reconstruction via In-Network Optimization [58.016067611038046]
本稿では,単眼画像からの3次元顔再構成法を提案する。
表情、ポーズ、照明を含む画像ごとのパーソナライズされた顔リグとパラメータを共同で推定する。
実験により,SOTA復元精度,ロバスト性,一般化能力が得られた。
論文 参考訳（メタデータ） (2021-04-08T03:53:20Z) - GDRNPP: A Geometry-guided and Fully Learning-based Object Pose Estimator [51.89441403642665]
剛体物体の6次元ポーズ推定はコンピュータビジョンにおける長年の課題である。
近年、ディープラーニングの出現は、信頼できる6Dポーズを予測するための畳み込みニューラルネットワーク(CNN)の可能性を明らかにしている。
本稿では,完全学習型オブジェクトポーズ推定器を提案する。
論文 参考訳（メタデータ） (2021-02-24T09:11:31Z) - Monocular 3D Detection with Geometric Constraints Embedding and
Semi-supervised Training [3.8073142980733]
我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。
我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
論文 参考訳（メタデータ） (2020-09-02T00:51:51Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳（メタデータ） (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。