論文の概要: Real-Time Diffusion Relighting as a Neural Sensor: Closing the Low-Light Domain Gap for Robotic Perception
- arxiv url: http://arxiv.org/abs/2611.17438v1
- Date: Thu, 12 Nov 2026 19:10:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.24472
- Title: Real-Time Diffusion Relighting as a Neural Sensor: Closing the Low-Light Domain Gap for Robotic Perception
- Title(参考訳): ニューラルネットワークとしてのリアルタイム拡散リライト:ロボット知覚のための低照度領域ギャップを閉鎖する
- Abstract要約: 日光画像で訓練された物体検出器は、暗く悪天候下では故障しがちである。
本稿では,照明を生成前として扱う制御ループに生成型ニューラルネットワークを組み込むことを提案する。
低遅延ロボット制御から高遅延セマンティックリカバリを分離するリアルタイム知覚アーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 61.63264292132757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-light conditions severely degrade robotic perception: object detectors trained on daylight imagery are prone to failure under dark and adverse weather conditions that fall outside of their training distribution. Furthermore, from an efficiency standpoint, existing Low-Light Image Enhancement (LLIE) methods are designed for offline processing and are therefore impractical to integrate into live control loops. To address these issues, we propose to embed a Generative Neural Sensor within the control loop that treats illumination as a generative prior rather than a signal processing problem, enabling task-relevant semantic recovery. We further propose an Real-Time Perceptual Architecture that decouples high-latency semantic recovery from low-latency robotic control. Rather than blocking the control loop, our system runs a large-scale image-to-image diffusion model in a background thread, and is activated only when a drop in detection confidence signals a perceptual uncertainty event, significantly reducing computational overhead. Our method sets a new state-of-the-art performance on the ExDark low-light benchmark with 87.1% mAP, and under adverse weather conditions, significantly boosts detection rates over competing methods. On a navigation task in a closed-loop autonomous driving simulator (CARLA), we achieve a 100% lap completion rate, establishing a simulation-based proof-of-concept for integrating high-latency generative models with standard robotic control autonomy stacks.
- Abstract(参考訳): 低照度条件はロボットの知覚を著しく劣化させる: 日光画像で訓練された物体検出器は、トレーニング分布外にある暗く悪天候条件下で失敗する傾向がある。
さらに、効率の観点からは、既存の低照度画像強調法(LLIE)はオフライン処理用に設計されており、ライブ制御ループに統合することができない。
これらの問題に対処するために、信号処理問題よりも先に照明を生成物として扱う制御ループに生成型ニューラルネットワークを組み込むことを提案し、タスク関連セマンティックリカバリを可能にした。
さらに,低遅延ロボット制御から高遅延セマンティックリカバリを分離するリアルタイム知覚アーキテクチャを提案する。
制御ループをブロックする代わりに、我々のシステムは背景スレッドで大規模な画像と画像の拡散モデルを実行し、検出信頼性の低下が知覚の不確実な事象を通知するときにのみ起動し、計算オーバーヘッドを大幅に削減する。
本手法は, 87.1% mAPのExDark低照度ベンチマークにおいて, 悪天候条件下において, 競合手法よりも検出率を大幅に向上させる。
クローズドループ自律運転シミュレータ(CARLA)のナビゲーションタスクにおいて、100%ラップ完了率を実現し、高速生成モデルと標準的なロボット制御自律スタックを統合するためのシミュレーションベースの概念実証を確立する。
関連論文リスト
- Learning Event-based Obstacle Avoidance via Differentiable Simulation [21.102145316912384]
イベントカメラはミリ秒以下のレイテンシ、高いダイナミックレンジ、無視可能な動きのぼかしを持つ。
我々は、トレーニングループ内でイベントを効率的にレンダリングし、差別化可能なシミュレーションパイプラインに統合するイベントシミュレータを開発した。
これにより、中間的な深さ推定なしで、イベントフレームを直接コマンドにマッピングするエンドツーエンドのポリシーをトレーニングできます。
我々は, 実世界のゼロショット配置によるアプローチの有効性を検証し, ドメトリアシストとドメトリフリーの両方で頑健な障害物回避を実現している。
論文 参考訳(メタデータ) (2026-10-28T21:51:07Z) - JointLight: Human-Centric Video Relighting with Asynchronous RGB-Irradiance Joint Modeling [27.840079380236602]
我々は,きめ細かい照明制御を容易にする非同期な共同モデリングパラダイムを導入する。
トレーニングデータとして,強力なゲームエンジンを用いて,ペアリングした照度マップを用いた高品質な合成ビデオデータセットを開発する。
本モデルは,実世界のシナリオに対する堅牢な一般化を示し,照明忠実度と生成品質の両方において,従来の手法より優れる。
論文 参考訳(メタデータ) (2026-10-21T14:08:01Z) - LiveLight: Real-time Streaming Video Relighting with Interactive Control [50.08584152649119]
インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。
拡散モデルに動的3D照明を効果的に注入し、低NFE予算下で高忠実度生成を維持し、対話型制御のための連続ストリーミングを容易にするという3つの重要な課題を克服する。
実世界のベンチマークと合成ベンチマークの実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を達成することを示した。
論文 参考訳(メタデータ) (2026-08-03T06:45:00Z) - Adaptive Illumination Control for Robot Perception [6.718749267591075]
Lightningは、ビジュアルSLAMのためのクローズドループ照明制御フレームワークである。
ライティング、オフライン最適化、模倣学習を組み合わせたものだ。
SLAM軌道を大幅に改善し、不要な照明電力を低減させる。
論文 参考訳(メタデータ) (2026-02-13T03:34:01Z) - Zero-Reference Lighting Estimation Diffusion Model for Low-Light Image Enhancement [2.9873893715462185]
ゼロLEDと呼ばれる低照度画像強調のための新しいゼロ参照光推定拡散モデルを提案する。
拡散モデルの安定収束能力を利用して、低照度領域と実常照度領域の間のギャップを埋める。
ゼロ参照学習を通じてペアのトレーニングデータへの依存を緩和する。
論文 参考訳(メタデータ) (2024-03-05T11:39:17Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - Cycle-Interactive Generative Adversarial Network for Robust Unsupervised
Low-Light Enhancement [109.335317310485]
CIGAN(Cycle-Interactive Generative Adversarial Network)は、低照度画像間の照明分布の転送を改善できるだけでなく、詳細な信号も操作できる。
特に、提案した低照度誘導変換は、低照度GAN生成器から劣化GAN生成器へ、低照度画像の特徴をフォワードする。
論文 参考訳(メタデータ) (2022-07-03T06:37:46Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳(メタデータ) (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。