論文の概要: Twinner: Shining Light on Digital Twins in a Few Snaps

• arxiv url: http://arxiv.org/abs/2503.08382v1
• Date: Tue, 11 Mar 2025 12:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:42:46.167580
• Title: Twinner: Shining Light on Digital Twins in a Few Snaps
• Title（参考訳）: ツインナー:デジタルツインに光を当てる
• Authors: Jesus Zarzar, Tom Monnier, Roman Shapovalov, Andrea Vedaldi, David Novotny,
• Abstract要約: ツインナーは、シーンの照明とオブジェクトの幾何学と材料特性を、ほんの数枚の画像から取り戻すことができる。 本稿では,ボクセルグリッドのサイズに比例してメモリを2次スケールするメモリ効率の高いボクセルグリッド変換器を提案する。 実生活データセットのモデルを、物理的に異なるシェーディングモデルを用いて微調整する。
• 参考スコア（独自算出の注目度）: 48.812412372818386
• License:
• Abstract: We present the first large reconstruction model, Twinner, capable of recovering a scene's illumination as well as an object's geometry and material properties from only a few posed images. Twinner is based on the Large Reconstruction Model and innovates in three key ways: 1) We introduce a memory-efficient voxel-grid transformer whose memory scales only quadratically with the size of the voxel grid. 2) To deal with scarcity of high-quality ground-truth PBR-shaded models, we introduce a large fully-synthetic dataset of procedurally-generated PBR-textured objects lit with varied illumination. 3) To narrow the synthetic-to-real gap, we finetune the model on real life datasets by means of a differentiable physically-based shading model, eschewing the need for ground-truth illumination or material properties which are challenging to obtain in real life. We demonstrate the efficacy of our model on the real life StanfordORB benchmark where, given few input views, we achieve reconstruction quality significantly superior to existing feedforward reconstruction networks, and comparable to significantly slower per-scene optimization methods.
• Abstract（参考訳）: そこで本研究では,最初の大規模再構成モデルであるツインナー(Twinner)について述べる。 Twinnerは大規模なリコンストラクションモデルに基づいて、3つの重要な方法で革新する。 1) メモリ効率のよいボクセルグリッド変換器を導入する。 2) 高品質なPBRシェードモデルの不足に対処するために, 各種照明で照らされたプロシージャ生成PBRテクスチャオブジェクトの完全合成データセットを大規模に導入する。 3) 合成と現実のギャップを狭めるため, 実生活で入手が困難な地中照度や物質特性を考慮し, 物理的に異なるシェーディングモデルを用いて実生活データセットのモデルを微調整する。 実生活におけるStanfordORBベンチマークにおけるモデルの有効性を実証し,入力ビューが少なければ,既存のフィードフォワード復元ネットワークよりもはるかに優れた再構成品質を実現し,シーンごとの最適化手法に匹敵する性能を示した。

関連論文リスト

• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• ProbeSDF: Light Field Probes for Neural Surface Reconstruction [4.0130618054041385]
  SDFベースのディファレンシャルレンダリングフレームワークは、最先端のマルチビュー3次元形状再構成を実現している。 我々は、その中核的な外観モデルを最小限に修正することで、このアプローチの族を再検討する。 この性能は、広く異なる2つの一般的なアプリケーションフィールド上の実データ上で一貫して達成されることを示す。
  論文  参考訳（メタデータ） (2024-12-13T12:18:26Z)
• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
  我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T15:50:08Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes [5.9870673031762545]
  本研究では,大規模屋内シーンを対象とした多視点逆レンダリング手法を提案する。 提案手法は, 最先端の定量的, 定性的に性能を向上する。 物質編集、編集可能な新規ビュー合成、リライトなど、物理的に理にかなった混合現実のアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-11-18T12:53:10Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。