論文の概要: Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception

• arxiv url: http://arxiv.org/abs/2407.20336v1
• Date: Mon, 29 Jul 2024 18:00:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 19:08:17.748265
• Title: Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception
• Title（参考訳）: 太陽が降りて、光が光る:ロバストなセマンティック知覚のためのフォトリアリスティックな単眼夜間シミュレーション
• Authors: Konstantinos Tzevelekakis, Shutong Zhang, Luc Van Gool, Christos Sakaridis,
• Abstract要約: 夜間のシーンは、学習したモデルで意味的に知覚し、人間に注釈を付けるのは難しい。 本手法は,1枚の画像の夜間シミュレーションを3Dで行う方法として,サンオフ,ライトオン (SOLO) と命名された。 夜間画像の視覚的品質と光リアリズムは,拡散モデルを含む競合するアプローチよりも優れているだけでなく,従来の画像は,昼夜適応における意味的夜間セグメンテーションに有益であることが証明されている。
• 参考スコア（独自算出の注目度）: 53.631644875171595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nighttime scenes are hard to semantically perceive with learned models and annotate for humans. Thus, realistic synthetic nighttime data become all the more important for learning robust semantic perception at night, thanks to their accurate and cheap semantic annotations. However, existing data-driven or hand-crafted techniques for generating nighttime images from daytime counterparts suffer from poor realism. The reason is the complex interaction of highly spatially varying nighttime illumination, which differs drastically from its daytime counterpart, with objects of spatially varying materials in the scene, happening in 3D and being very hard to capture with such 2D approaches. The above 3D interaction and illumination shift have proven equally hard to model in the literature, as opposed to other conditions such as fog or rain. Our method, named Sun Off, Lights On (SOLO), is the first to perform nighttime simulation on single images in a photorealistic fashion by operating in 3D. It first explicitly estimates the 3D geometry, the materials and the locations of light sources of the scene from the input daytime image and relights the scene by probabilistically instantiating light sources in a way that accounts for their semantics and then running standard ray tracing. Not only is the visual quality and photorealism of our nighttime images superior to competing approaches including diffusion models, but the former images are also proven more beneficial for semantic nighttime segmentation in day-to-night adaptation. Code and data will be made publicly available.
• Abstract（参考訳）: 夜間のシーンは、学習したモデルで意味的に知覚し、人間に注釈を付けるのは難しい。 このように、現実的な合成夜間データは、正確で安価なセマンティックアノテーションのおかげで、夜間に堅牢なセマンティック認識を学習する上で、より重要になる。 しかし、昼間から夜間画像を生成する既存のデータ駆動技術や手作り技術は、現実主義の悪さに悩まされている。 理由は、高度に空間的に変化する夜間照明の複雑な相互作用が、昼間のそれとは大きく異なり、空間的に変化する素材の物体が3Dで発生し、そのような2Dアプローチで捉えるのが非常に困難であるからである。 上述の3次元相互作用と照明シフトは、霧や雨などの他の条件とは対照的に、文献でも同様にモデル化が困難であることが証明されている。 本手法は,1枚の画像の夜間シミュレーションを3Dで行う方法として,サンオフ,ライトオン (SOLO) と命名された。 まず、入力された昼間画像からシーンの3D形状、材料、光源の位置を明示的に推定し、それらの意味を考慮し標準の光線追跡を実行する方法で、確率的に光源をインスタンス化することでシーンをリライトする。 夜間画像の視覚的品質と光リアリズムは,拡散モデルを含む競合するアプローチよりも優れているだけでなく,従来の画像は,昼夜適応における意味的夜間セグメンテーションにも有用であることが証明されている。 コードとデータは公開されます。

関連論文リスト

• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• A Semi-supervised Nighttime Dehazing Baseline with Spatial-Frequency Aware and Realistic Brightness Constraint [19.723367790947684]
  実世界における夜間脱ハージングのための半教師付きモデルを提案する。 まず、空間的注意と周波数スペクトルフィルタリングを、空間周波数領域情報相互作用モジュールとして実装する。 第2に、半教師付きトレーニングプロセスにおける擬似ラベルに基づくリトレーニング戦略と局所窓ベースの輝度損失は、迷路や光を抑制するように設計されている。
  論文  参考訳（メタデータ） (2024-03-27T13:27:02Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Nighttime Dehazing with a Synthetic Benchmark [147.21955799938115]
  昼間の鮮明な画像から夜間のハズイ画像をシミュレートする3Rという新しい合成法を提案する。 実空間の光色を以前の経験的分布からサンプリングすることにより,現実的な夜間ハズイ画像を生成する。 実験結果は、画像の品質と実行時間の両方の観点から、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T02:16:46Z)
• Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
  我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。 夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。 また,NTSP問題に対処するための露出認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T18:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。