論文の概要: See through the Dark: Learning Illumination-affined Representations for Nighttime Occupancy Prediction

• arxiv url: http://arxiv.org/abs/2505.20641v1
• Date: Tue, 27 May 2025 02:40:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.358004
• Title: See through the Dark: Learning Illumination-affined Representations for Nighttime Occupancy Prediction
• Title（参考訳）: 暗黒を通して見る: 夜間活動予測のための照度関連表現の学習
• Authors: Yuan Wu, Zhiqiang Yan, Yigong Zhang, Xiang Li, ian Yang,
• Abstract要約: 職業予測は,占領地域の3次元空間分布とそれに対応する意味ラベルを推定することを目的としている。 照明に適応した表現を学習する新しいフレームワークである textbfLIAR を提案する。 実データと合成データの両方の実験は、挑戦的な夜間シナリオ下でのLIARの優れた性能を示している。
• 参考スコア（独自算出の注目度）: 11.759191080877587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Occupancy prediction aims to estimate the 3D spatial distribution of occupied regions along with their corresponding semantic labels. Existing vision-based methods perform well on daytime benchmarks but struggle in nighttime scenarios due to limited visibility and challenging lighting conditions. To address these challenges, we propose \textbf{LIAR}, a novel framework that learns illumination-affined representations. LIAR first introduces Selective Low-light Image Enhancement (SLLIE), which leverages the illumination priors from daytime scenes to adaptively determine whether a nighttime image is genuinely dark or sufficiently well-lit, enabling more targeted global enhancement. Building on the illumination maps generated by SLLIE, LIAR further incorporates two illumination-aware components: 2D Illumination-guided Sampling (2D-IGS) and 3D Illumination-driven Projection (3D-IDP), to respectively tackle local underexposure and overexposure. Specifically, 2D-IGS modulates feature sampling positions according to illumination maps, assigning larger offsets to darker regions and smaller ones to brighter regions, thereby alleviating feature degradation in underexposed areas. Subsequently, 3D-IDP enhances semantic understanding in overexposed regions by constructing illumination intensity fields and supplying refined residual queries to the BEV context refinement process. Extensive experiments on both real and synthetic datasets demonstrate the superior performance of LIAR under challenging nighttime scenarios. The source code and pretrained models are available \href{https://github.com/yanzq95/LIAR}{here}.
• Abstract（参考訳）: 職業予測は,占領地域の3次元空間分布とそれに対応する意味ラベルを推定することを目的としている。 既存の視覚ベースの手法は、昼間のベンチマークではうまく機能するが、夜間のシナリオでは、視認性に限界があり、照明条件の難しさに悩まされる。 これらの課題に対処するために,照明に適応した表現を学習する新しいフレームワークである「textbf{LIAR}」を提案する。 LIARは、まずSLLIE(Selective Low-light Image Enhancement)を導入し、昼間のシーンからの照明を活かして、夜間のイメージが真に暗いか十分に明るいかを適応的に判断し、よりターゲットを絞ったグローバルなエンハンスメントを可能にする。 SLLIEによって生成された照明マップに基づいて、LIARはさらに2D照明誘導サンプリング(2D-IGS)と3D照明駆動投射(3D-IDP)という2つの照明対応コンポーネントを組み込んでおり、それぞれ局所的な露出不足と過剰露出に対処している。 具体的には、2D-IGSは、照明マップに従って特徴サンプリング位置を変調し、より暗い領域と小さい領域により大きなオフセットを割り当てる。 その後、3D-IDPは、照明強度場を構築し、BEVコンテキストリファインメントプロセスに洗練された残留クエリを供給することで、過剰に露出した領域のセマンティック理解を強化する。 実データと合成データの両方に対する大規模な実験は、挑戦的な夜間シナリオ下でのLIARの優れた性能を示す。 ソースコードと事前訓練されたモデルは、 \href{https://github.com/yanzq95/LIAR}{here} で入手できる。

関連論文リスト

• MV-CoLight: Efficient Object Compositing with Consistent Lighting and Shadow Generation [19.46962637673285]
  MV-CoLightは2Dおよび3Dシーンで合成される照度一貫性のあるオブジェクトのためのフレームワークである。 2次元画像入力と3次元ガウスシーン表現をシームレスに整列するために、ヒルベルト曲線に基づく写像を用いる。 実験では、標準ベンチマークとデータセット間で、最先端の調和した結果を実証した。
  論文  参考訳（メタデータ） (2025-05-27T17:53:02Z)
• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception [53.631644875171595]
  夜間のシーンは、学習したモデルで意味的に知覚し、人間に注釈を付けるのは難しい。 本手法は,1枚の画像の夜間シミュレーションを3Dで行う方法として,サンオフ,ライトオン (SOLO) と命名された。 夜間画像の視覚的品質と光リアリズムは,拡散モデルを含む競合するアプローチよりも優れているだけでなく,従来の画像は,昼夜適応における意味的夜間セグメンテーションに有益であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-29T18:00:09Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth Estimation [12.392842482031558]
  本研究では,夜間画像強調器と深度推定器を両課題に使用せずに共同で学習する手法を提案する。 提案手法は,新たに提案された不確実な画素マスキング戦略を用いて,2つの自己監督タスクを密に絡み合わせる。 提案手法をnuScenesとRobotCarの2つの確立したデータセットでベンチマークする。
  論文  参考訳（メタデータ） (2023-02-02T18:59:47Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular Depth Estimation in the Dark [20.66405067066299]
  未ペア深度マップから分布知識を学習するために,プリエントベース正規化を導入する。 また、画像の可視性とコントラストを高めるために、マッピング一貫性画像強調モジュールを活用している。 筆者らのフレームワークは,2つの夜間データセットに対して,顕著な改善と最先端の結果を達成している。
  論文  参考訳（メタデータ） (2021-08-09T06:24:35Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)
• Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination [84.00096195633793]
  入力狭帯域ステレオ画像ペアからシーン内の任意の3次元位置における入射照度を推定する深層学習ソリューションを提案する。 本モデルでは,入力ステレオペア近傍の視野ビューと,各シーン内の球状パノラマのみを監督する。 提案手法は,高精細な仮想物体を実画像に挿入して照らし出すのに十分な空間変化の連続した照明を予測できることを実証する。
  論文  参考訳（メタデータ） (2020-03-18T17:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。