論文の概要: Learning 3D Reconstruction with Priors in Test Time

• arxiv url: http://arxiv.org/abs/2604.03878v1
• Date: Sat, 04 Apr 2026 22:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.810873
• Title: Learning 3D Reconstruction with Priors in Test Time
• Title（参考訳）: テスト時間に先行する3次元再構成の学習
• Authors: Lei Zhou, Haoyu Wu, Akshat Dave, Dimitris Samaras,
• Abstract要約: 本稿では,事前学習した画像のみのネットワークを再トレーニングしたり修正したりすることなく,3Dタスクを改善するための事前処理を組み込んだマルチビュートランスフォーマー(MVT)のテストタイムフレームワークを提案する。 提案手法は,ベースMVTよりも高いマージンで連続的に性能を向上する。
• 参考スコア（独自算出の注目度）: 38.04707926304637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a test-time framework for multiview Transformers (MVTs) that incorporates priors (e.g., camera poses, intrinsics, and depth) to improve 3D tasks without retraining or modifying pre-trained image-only networks. Rather than feeding priors into the architecture, we cast them as constraints on the predictions and optimize the network at inference time. The optimization loss consists of a self-supervised objective and prior penalty terms. The self-supervised objective captures the compatibility among multi-view predictions and is implemented using photometric or geometric loss between renderings from other views and each view itself. Any available priors are converted into penalty terms on the corresponding output modalities. Across a series of 3D vision benchmarks, including point map estimation and camera pose estimation, our method consistently improves performance over base MVTs by a large margin. On the ETH3D, 7-Scenes, and NRGBD datasets, our method reduces the point-map distance error by more than half compared with the base image-only models. Our method also outperforms retrained prior-aware feed-forward methods, demonstrating the effectiveness of our test-time constrained optimization (TCO) framework for incorporating priors into 3D vision tasks.
• Abstract（参考訳）: 本稿では,事前学習(例えばカメラポーズ,内在,奥行き)を取り入れたマルチビュートランスフォーマー(MVT)のテストタイムフレームワークを導入し,事前学習した画像のみのネットワークをリトレーニングしたり修正したりすることなく,3Dタスクを改善する。 事前情報をアーキテクチャに入力するのではなく、予測の制約としてキャストし、推論時にネットワークを最適化します。 最適化損失は、自己監督された目的条件と事前のペナルティ条件からなる。 自己監督対象は、多視点予測間の互換性を捉え、他のビューからのレンダリングと各ビュー自体のレンダリング間の光度または幾何学的損失を用いて実装される。 利用可能な任意の事前条件は、対応する出力モダリティのペナルティ項に変換される。 ポイントマップ推定やカメラポーズ推定を含む一連の3次元視覚ベンチマークにおいて,本手法はベースMVTよりも高いマージンで連続的に性能を向上する。 ETH3D, 7-Scenes, NRGBDデータセットでは, 基本画像のみのモデルと比較して, ポイントマップ距離誤差を半減する。 また,テスト時間制約最適化(TCO)フレームワークの有効性を3次元視覚タスクに組み込むことにより,トレーニング済みのフィードフォワード法よりも優れることを示す。

関連論文リスト

• From Editor to Dense Geometry Estimator [77.21804448599009]
  密度幾何予測のための拡散変換器(DiT)アーキテクチャに基づく高度な編集モデルを適用するフレームワークである textbfFE2E を紹介する。 FE2EはETH3Dデータセットで35%以上のパフォーマンス向上を実現し、100$times$データでトレーニングされたDepthAnythingシリーズを上回っている。
  論文  参考訳（メタデータ） (2025-09-04T15:58:50Z)
• How to Use Diffusion Priors under Sparse Views? [29.738350228085928]
  Inline Prior Guided Score Matching is proposed to provide visual supervision over sparse view in 3D reconstruction。 提案手法は,最先端の復元品質を実現する。
  論文  参考訳（メタデータ） (2024-12-03T07:31:54Z)
• VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving [44.91443640710085]
  VisionPADは、自律運転におけるビジョン中心のアルゴリズムのための、新しい自己教師付き事前訓練パラダイムである。 画像のみを監督として多視点表現を再構築する。 これにより、3Dオブジェクトの検出、占有率予測、マップセグメンテーションのパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2024-11-22T03:59:41Z)
• A Closer Look at Invariances in Self-supervised Pre-training for 3D Vision [0.0]
  3Dビジョンのための自己監督型事前訓練は近年研究の関心が高まっている。 本稿では,様々な事前学習手法を検証可能な統合フレームワークを提案する。 コントラスト学習を用いた3次元エンコーダと深度マップエンコーダを併用した簡易かつ効果的な事前学習法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:44:15Z)
• Riggable 3D Face Reconstruction via In-Network Optimization [58.016067611038046]
  本稿では,単眼画像からの3次元顔再構成法を提案する。 表情、ポーズ、照明を含む画像ごとのパーソナライズされた顔リグとパラメータを共同で推定する。 実験により,SOTA復元精度,ロバスト性,一般化能力が得られた。
  論文  参考訳（メタデータ） (2021-04-08T03:53:20Z)
• GDRNPP: A Geometry-guided and Fully Learning-based Object Pose Estimator [51.89441403642665]
  剛体物体の6次元ポーズ推定はコンピュータビジョンにおける長年の課題である。 近年、ディープラーニングの出現は、信頼できる6Dポーズを予測するための畳み込みニューラルネットワーク(CNN)の可能性を明らかにしている。 本稿では,完全学習型オブジェクトポーズ推定器を提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:11:31Z)
• Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
  我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。 我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
  論文  参考訳（メタデータ） (2020-09-02T00:51:51Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。