論文の概要: Inverse Image-Based Rendering for Light Field Generation from Single Images

• arxiv url: http://arxiv.org/abs/2510.20132v1
• Date: Thu, 23 Oct 2025 02:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.135052
• Title: Inverse Image-Based Rendering for Light Field Generation from Single Images
• Title（参考訳）: 単体画像からの光場生成のための逆画像ベースレンダリング
• Authors: Hyunjun Jung, Hae-Gon Jeon,
• Abstract要約: 逆画像ベースレンダリングという,単一の画像のみからの光場生成のための新しいビュー合成手法を提案する。 画像ベースのレンダリングとは逆の振る舞いをする画像画素から空間内の光の流れを再構成する。 我々のニューラルは、まず入力画像から光源線の光の流れを記憶し、その後、交叉アテンションを通してそれらの関係を計算する。
• 参考スコア（独自算出の注目度）: 30.856397422416517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A concept of light-fields computed from multiple view images on regular grids has proven its benefit for scene representations, and supported realistic renderings of novel views and photographic effects such as refocusing and shallow depth of field. In spite of its effectiveness of light flow computations, obtaining light fields requires either computational costs or specialized devices like a bulky camera setup and a specialized microlens array. In an effort to broaden its benefit and applicability, in this paper, we propose a novel view synthesis method for light field generation from only single images, named inverse image-based rendering. Unlike previous attempts to implicitly rebuild 3D geometry or to explicitly represent objective scenes, our method reconstructs light flows in a space from image pixels, which behaves in the opposite way to image-based rendering. To accomplish this, we design a neural rendering pipeline to render a target ray in an arbitrary viewpoint. Our neural renderer first stores the light flow of source rays from the input image, then computes the relationships among them through cross-attention, and finally predicts the color of the target ray based on these relationships. After the rendering pipeline generates the first novel view from a single input image, the generated out-of-view contents are updated to the set of source rays. This procedure is iteratively performed while ensuring the consistent generation of occluded contents. We demonstrate that our inverse image-based rendering works well with various challenging datasets without any retraining or finetuning after once trained on synthetic dataset, and outperforms relevant state-of-the-art novel view synthesis methods.
• Abstract（参考訳）: 通常のグリッド上の複数のビューイメージから計算された光場の概念は、シーン表現の利点を証明し、新しいビューのリアルなレンダリングと、リフォーカスや浅いフィールド深度などの写真効果をサポートしてきた。 光流量計算の有効性にもかかわらず、光場を得るには計算コストか、かさばるカメラや特殊なマイクロレンズアレイのような特殊な装置が必要である。 本稿では、その利点と適用性を広げるために、逆画像ベースレンダリングと呼ばれる単一の画像のみから光場生成のための新しいビュー合成法を提案する。 従来の3次元図形を暗黙的に再構築したり、客観的なシーンを明示的に表現しようとする試みとは異なり、本手法は画像画素から空間内の光の流れを再構成し、画像ベースのレンダリングとは逆の振る舞いをする。 これを実現するために、任意の視点でターゲット線を描画するニューラルネットワークレンダリングパイプラインを設計する。 我々のニューラルレンダラーは、まず入力画像から光源線の光の流れを記憶し、次にそれらの関係を相互注意によって計算し、最終的にこれらの関係に基づいてターゲット線の色を予測する。 レンダリングパイプラインが単一の入力画像から第1の新規ビューを生成した後、生成されたアウトオブビュー内容がソース線のセットに更新される。 この手順は、閉鎖されたコンテンツの一貫した生成を確保しつつ反復的に行われる。 我々の逆画像ベースレンダリングは、合成データセットでトレーニングされた後、トレーニングや微調整をすることなく、様々な困難なデータセットとうまく連携し、関連する最先端の新規ビュー合成手法より優れていることを実証する。

関連論文リスト

• 3DPR: Single Image 3D Portrait Relight using Generative Priors [101.74130664920868]
  3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。 我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。 我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
  論文  参考訳（メタデータ） (2025-10-17T17:37:42Z)
• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [47.85234717907478]
  マテリアルスト(Materist)は、学習に基づくアプローチと物理的にベースとしたプログレッシブ・差別化可能なレンダリングを組み合わせる方法である。 我々のアプローチは、マテリアル編集、オブジェクト挿入、リライトなど、幅広いアプリケーションを可能にする。 実験は、合成および実世界のデータセット間で強力なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
  対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。 ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-06-10T17:59:59Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• NDJIR: Neural Direct and Joint Inverse Rendering for Geometry, Lights, and Materials of Real Object [5.665283675533071]
  我々はニューラルダイレクトおよびジョイントリバースレンダリング(NDJIR)を提案する。 提案手法は, 実際のオブジェクトに対して, フォトグラム設定で意味論的に分解することができる。
  論文  参考訳（メタデータ） (2023-02-02T13:21:03Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。