論文の概要: Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks

• arxiv url: http://arxiv.org/abs/2202.09206v1
• Date: Fri, 18 Feb 2022 14:11:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 14:26:16.503329
• Title: Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks
• Title（参考訳）: 変圧器ネットワークを用いた屋外照明の時空間アグリゲーション
• Authors: Haebom Lee, Christian Homeyer, Robert Herzog, Jan Rexilius, Carsten Rother
• Abstract要約: 本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。 ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。 画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
• 参考スコア（独自算出の注目度）: 23.6427456783115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we focus on outdoor lighting estimation by aggregating individual noisy estimates from images, exploiting the rich image information from wide-angle cameras and/or temporal image sequences. Photographs inherently encode information about the scene's lighting in the form of shading and shadows. Recovering the lighting is an inverse rendering problem and as that ill-posed. Recent work based on deep neural networks has shown promising results for single image lighting estimation, but suffers from robustness. We tackle this problem by combining lighting estimates from several image views sampled in the angular and temporal domain of an image sequence. For this task, we introduce a transformer architecture that is trained in an end-2-end fashion without any statistical post-processing as required by previous work. Thereby, we propose a positional encoding that takes into account the camera calibration and ego-motion estimation to globally register the individual estimates when computing attention between visual words. We show that our method leads to improved lighting estimation while requiring less hyper-parameters compared to the state-of-the-art.
• Abstract（参考訳）: 本研究では,広角カメラおよび/または時間画像列からのリッチな画像情報を利用して,画像からのノイズ推定を集約し,屋外照明推定に着目する。 写真は本質的にシーンの照明に関する情報を陰影と影の形でエンコードする。 照明の復元は逆レンダリングの問題であり、不適切である。 ディープニューラルネットワークに基づく最近の研究は、単一の画像照明推定に有望な結果を示しているが、ロバスト性に苦しんでいる。 画像列の角領域と時間領域にサンプリングされた複数の画像ビューからの照明推定を組み合わせることでこの問題に取り組む。 そこで本研究では,従来の作業に必要な統計的後処理を必要とせず,エンドツーエンドでトレーニングしたトランスフォーマーアーキテクチャを提案する。 そこで我々は,視覚的単語間の注目度を計算する際に,カメラキャリブレーションとエゴモーション推定を考慮に入れた位置符号化を提案する。 提案手法は,最先端技術と比較して過度パラメータの低減を図り,照明推定の改善につながることを示す。

関連論文リスト

• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• A Non-Uniform Low-Light Image Enhancement Method with Multi-Scale Attention Transformer and Luminance Consistency Loss [11.585269110131659]
  低照度画像強調は、薄暗い環境で収集された画像の知覚を改善することを目的としている。 既存の方法では、識別された輝度情報を適応的に抽出することができず、露光過多や露光過多を容易に引き起こすことができる。 MSATrというマルチスケールアテンション変換器を提案し,光バランスの局所的・グローバル的特徴を十分に抽出し,視覚的品質を向上させる。
  論文  参考訳（メタデータ） (2023-12-27T10:07:11Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network [69.96295927854042]
  低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。 本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。 指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:46:51Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)
• Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
  本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
  論文  参考訳（メタデータ） (2020-08-12T08:03:28Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。