論文の概要: On-the-go Reflectance Transformation Imaging with Ordinary Smartphones

• arxiv url: http://arxiv.org/abs/2210.09821v1
• Date: Tue, 18 Oct 2022 13:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 15:50:47.306699
• Title: On-the-go Reflectance Transformation Imaging with Ordinary Smartphones
• Title（参考訳）: スマートフォンを用いたオンザゴ反射率変換イメージング
• Authors: Mara Pistellato and Filippo Bergamasco
• Abstract要約: リフレクタンス・トランスフォーメーション・イメージング(RTI)は、ピクセルごとのリフレクタンス情報の回復を可能にする一般的な技術である。 本稿では,通常の2台のスマートフォンで動画を録画することで,新たなRTI手法を提案する。
• 参考スコア（独自算出の注目度）: 5.381004207943598
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reflectance Transformation Imaging (RTI) is a popular technique that allows the recovery of per-pixel reflectance information by capturing an object under different light conditions. This can be later used to reveal surface details and interactively relight the subject. Such process, however, typically requires dedicated hardware setups to recover the light direction from multiple locations, making the process tedious when performed outside the lab. We propose a novel RTI method that can be carried out by recording videos with two ordinary smartphones. The flash led-light of one device is used to illuminate the subject while the other captures the reflectance. Since the led is mounted close to the camera lenses, we can infer the light direction for thousands of images by freely moving the illuminating device while observing a fiducial marker surrounding the subject. To deal with such amount of data, we propose a neural relighting model that reconstructs object appearance for arbitrary light directions from extremely compact reflectance distribution data compressed via Principal Components Analysis (PCA). Experiments shows that the proposed technique can be easily performed on the field with a resulting RTI model that can outperform state-of-the-art approaches involving dedicated hardware setups.
• Abstract（参考訳）: 反射率変換イメージング(rti)は、異なる光条件下で物体をキャプチャすることでピクセル単位の反射率情報を復元できる一般的な技術である。 これは後に表面の詳細を明らかにし、対話的に主題を照らすために用いられる。 しかし、そのようなプロセスは通常、複数の場所から光の方向を回復するために専用のハードウェアのセットアップを必要とする。 本稿では,通常の2台のスマートフォンで動画を録画することで,新たなRTI手法を提案する。 1つの装置のフラッシュledライトは被写体を照らし、もう1つは反射率を捉える。 カメラレンズの近傍にリードが取り付けられているため、被写体を取り囲む被写体マーカーを観察しながら照明装置を自由に移動させることで、数千枚の画像の光方向を推測することができる。 このようなデータを扱うために,主成分分析(PCA)により圧縮された極めてコンパクトな反射率分布データから,任意の光方向の物体の外観を再構成するニューラルリライトモデルを提案する。 実験により,提案手法は,専用ハードウェアのセットアップを含む最先端のアプローチよりも優れたRTIモデルにより,現場で容易に実行可能であることが示された。

関連論文リスト

• IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images [32.83096814910201]
  本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。 提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
  論文  参考訳（メタデータ） (2024-01-23T18:59:56Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Factored-NeuS: Reconstructing Surfaces, Illumination, and Materials of Possibly Glossy Objects [46.04357263321969]
  提案する多視点画像からシーンの表面, 材料, 照明を復元する手法を開発した。 追加のデータは必要ないし、光沢のあるオブジェクトや明るい照明も扱える。
  論文  参考訳（メタデータ） (2023-05-29T07:44:19Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Bridge the Vision Gap from Field to Command: A Deep Learning Network Enhancing Illumination and Details [17.25188250076639]
  我々は,明るさを調整し,細部を同時に強化する2ストリームフレームワークNEIDを提案する。 提案手法は,光強調 (LE), 細粒化 (DR), 特徴拡散 (FF) モジュールの3つの部分から構成される。
  論文  参考訳（メタデータ） (2021-01-20T09:39:57Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。