論文の概要: Scene Inference for Object Illumination Editing

• arxiv url: http://arxiv.org/abs/2108.00150v1
• Date: Sat, 31 Jul 2021 05:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:21:59.113372
• Title: Scene Inference for Object Illumination Editing
• Title（参考訳）: オブジェクト照明編集のためのシーン推論
• Authors: Zhongyun Bao, Chengjiang Long, Gang Fu, Daquan Liu, Yuanzhen Li, Jiaming Wu, Chunxia Xiao
• Abstract要約: IHデータセットと呼ばれる大規模で高品質なデータセットを作成するために,物理ベースのレンダリング手法を適用した。 また,多タスク協調ネットワークである深層学習に基づくSI-GAN法を提案し,オブジェクトの照明を編集する。 提案したSI-GANは,画像ベースのオブジェクト照明編集のための実用的で効果的なソリューションであり,最先端の手法に対する手法の優位性を検証している。
• 参考スコア（独自算出の注目度）: 24.529871334658573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The seamless illumination integration between a foreground object and a background scene is an important but challenging task in computer vision and augmented reality community. However, to our knowledge, there is no publicly available high-quality dataset that meets the illumination seamless integration task, which greatly hinders the development of this research direction. To this end, we apply a physically-based rendering method to create a large-scale, high-quality dataset, named IH dataset, which provides rich illumination information for seamless illumination integration task. In addition, we propose a deep learning-based SI-GAN method, a multi-task collaborative network, which makes full use of the multi-scale attention mechanism and adversarial learning strategy to directly infer mapping relationship between the inserted foreground object and corresponding background environment, and edit object illumination according to the proposed illumination exchange mechanism in parallel network. By this means, we can achieve the seamless illumination integration without explicit estimation of 3D geometric information. Comprehensive experiments on both our dataset and real-world images collected from the Internet show that our proposed SI-GAN provides a practical and effective solution for image-based object illumination editing, and validate the superiority of our method against state-of-the-art methods.
• Abstract（参考訳）: 前景オブジェクトと背景シーンとのシームレスな照明統合は、コンピュータビジョンと拡張現実コミュニティにおいて重要な課題であるが難しい課題である。 しかし、我々の知る限り、照明のシームレスな統合タスクを満たす高品質なデータセットは公開されていないため、この研究の方向性の発達を著しく妨げている。 この目的のために、物理ベースのレンダリング手法を用いて、シームレスな照明統合タスクのためのリッチな照明情報を提供する、大規模で高品質なIHデータセットを作成する。 さらに,複数タスクの協調ネットワークである深層学習に基づくSI-GAN手法を提案する。これはマルチスケールの注意機構と対角学習戦略をフル活用して,挿入された前景オブジェクトと対応する背景環境とのマッピング関係を直接推論し,並列ネットワークにおける照度交換機構に従ってオブジェクトの照度を編集する。 これにより、3次元幾何情報を明示的に推定することなくシームレスな照明統合を実現することができる。 インターネットから収集したデータセットと実世界の画像の両方に関する総合的な実験により,提案手法は,画像に基づくオブジェクト照明編集に実用的かつ効果的なソリューションを提供し,最先端手法に対する提案手法の優位性を検証する。

関連論文リスト

• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• HUE Dataset: High-Resolution Event and Frame Sequences for Low-Light Vision [16.432164340779266]
  低照度条件下での高分解能イベントとフレームシーケンスのコレクションであるHUEデータセットを紹介する。 私たちのデータセットには、屋内、都市景観、トワイライト、夜、運転、制御されたシナリオを含む106のシーケンスが含まれています。 我々は定性評価と定量的評価の両方を用いて、最先端の低照度化と事象に基づく画像再構成手法を評価する。
  論文  参考訳（メタデータ） (2024-10-24T21:15:15Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• Lighting the Darkness in the Deep Learning Era [118.35081853500411]
  低照度画像強調(LLIE)は、照明の弱い環境で撮影された画像の知覚や解釈性を改善することを目的としている。 この分野における最近の進歩は、ディープラーニングベースのソリューションが支配的です。 アルゴリズム分類から未解決の未解決問題まで,さまざまな側面をカバーする包括的な調査を行う。
  論文  参考訳（メタデータ） (2021-04-21T19:12:19Z)
• Dynamic Fusion Network For Light Field Depth Estimation [32.64928379844675]
  本稿では,RGBデータと焦点スタックをフレームワークに組み込んだ動的マルチモーダル学習戦略を提案する。 提案手法の成功は,2つのデータセット上でのアートパフォーマンスの達成によって実証される。
  論文  参考訳（メタデータ） (2021-04-13T06:45:11Z)
• OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets [103.54691385842314]
  本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。 私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。 これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
  論文  参考訳（メタデータ） (2020-07-25T06:48:47Z)
• IllumiNet: Transferring Illumination from Planar Surfaces to Virtual Objects in Augmented Reality [38.83696624634213]
  本稿では,学習による実環境における仮想物体の照明推定手法を提案する。 一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
  論文  参考訳（メタデータ） (2020-07-12T13:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。