論文の概要: Efficient Camera Exposure Control for Visual Odometry via Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2408.17005v2
- Date: Mon, 23 Dec 2024 07:44:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:51:25.266099
- Title: Efficient Camera Exposure Control for Visual Odometry via Deep Reinforcement Learning
- Title（参考訳）: 深部強化学習による視覚オドメトリーの効率的なカメラ露光制御
- Authors: Shuyang Zhang, Jinhao He, Yilong Zhu, Jin Wu, Jie Yuan,
- Abstract要約: 本研究は、露光制御のためのエージェントの訓練に深層強化学習フレームワークを用いる。
トレーニングプロセスを容易にするために,軽量なイメージシミュレータを開発した。
VOシステムを強化するために異なるレベルの報酬関数が作成される。
- 参考スコア（独自算出の注目度）: 10.886819238167286
- License:
- Abstract: The stability of visual odometry (VO) systems is undermined by degraded image quality, especially in environments with significant illumination changes. This study employs a deep reinforcement learning (DRL) framework to train agents for exposure control, aiming to enhance imaging performance in challenging conditions. A lightweight image simulator is developed to facilitate the training process, enabling the diversification of image exposure and sequence trajectory. This setup enables completely offline training, eliminating the need for direct interaction with camera hardware and the real environments. Different levels of reward functions are crafted to enhance the VO systems, equipping the DRL agents with varying intelligence. Extensive experiments have shown that our exposure control agents achieve superior efficiency-with an average inference duration of 1.58 ms per frame on a CPU-and respond more quickly than traditional feedback control schemes. By choosing an appropriate reward function, agents acquire an intelligent understanding of motion trends and anticipate future illumination changes. This predictive capability allows VO systems to deliver more stable and precise odometry results. The codes and datasets are available at https://github.com/ShuyangUni/drl_exposure_ctrl.
- Abstract（参考訳）: 視覚計測システム(VO)の安定性は画像品質の劣化によって損なわれ、特に照明が著しく変化する環境では顕著である。
本研究では、被曝制御のためのエージェントの訓練にDRL(Deep reinforcement Learning)フレームワークを使用し、課題のある条件下での撮像性能の向上を目的としている。
トレーニングプロセスを容易にし、画像露出とシーケンス軌跡の多様化を可能にする軽量な画像シミュレータを開発した。
このセットアップにより、完全にオフラインのトレーニングが可能になり、カメラハードウェアと実際の環境との直接的なインタラクションが不要になる。
報酬関数のレベルが異なるため、VOシステムを強化し、DRLエージェントに様々なインテリジェンスを持たせる。
広汎な実験により,我々の露光制御エージェントは,CPU上で1フレームあたり平均1.58msで効率が良く,従来のフィードバック制御方式よりも高速に応答できることがわかった。
適切な報酬関数を選択することで、エージェントは動きの傾向をインテリジェントに理解し、将来の照明変化を予測できる。
この予測能力により、VOシステムはより安定で正確なオドメトリー結果を提供できる。
コードとデータセットはhttps://github.com/ShuyangUni/drl_exposure_ctrlで公開されている。
関連論文リスト
- RoboKoop: Efficient Control Conditioned Representations from Visual Input in Robotics using Koopman Operator [14.77553682217217]
本研究では,高次元潜在空間におけるエージェントの視覚データから効率的な線形化視覚表現を学習するコントラストスペクトル・クープマン埋め込みネットワークを提案する。
本手法は、時間とともに勾配力学の安定性と制御を向上し、既存の手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2024-09-04T22:14:59Z) - Light the Night: A Multi-Condition Diffusion Framework for Unpaired Low-Light Enhancement in Autonomous Driving [45.97279394690308]
LightDiffは、自動運転アプリケーションの低照度画像品質を高めるために設計されたフレームワークである。
深度マップ、RGB画像、テキストキャプションなど、様々なモードから入力重みを適応的に制御する新しいマルチコンディションアダプタが組み込まれている。
夜間の条件下での最先端の3D検出器の性能を著しく向上し、高い視覚的品質のスコアを達成できる。
論文 参考訳（メタデータ） (2024-04-07T04:10:06Z) - Learning to Control Camera Exposure via Reinforcement Learning [8.359692000028891]
微調整されたカメラの露出は、しばしば重大な故障と性能劣化を引き起こす。
従来のカメラ露光制御法では、複数の収束ステップと時間を要する。
リアルタイム処理中にカメラ露出を迅速に制御する新しいカメラ露出制御フレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-02T04:53:39Z) - A Non-Uniform Low-Light Image Enhancement Method with Multi-Scale
Attention Transformer and Luminance Consistency Loss [11.585269110131659]
低照度画像強調は、薄暗い環境で収集された画像の知覚を改善することを目的としている。
既存の方法では、識別された輝度情報を適応的に抽出することができず、露光過多や露光過多を容易に引き起こすことができる。
MSATrというマルチスケールアテンション変換器を提案し,光バランスの局所的・グローバル的特徴を十分に抽出し,視覚的品質を向上させる。
論文 参考訳（メタデータ） (2023-12-27T10:07:11Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳（メタデータ） (2023-08-31T04:58:17Z) - Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and
Transformer-Based Method [51.30748775681917]
低照度画像強調(LLIE)の課題を考察し,4K解像度と8K解像度の画像からなる大規模データベースを導入する。
我々は、系統的なベンチマーク研究を行い、現在のLLIEアルゴリズムと比較する。
第2のコントリビューションとして,変換器をベースとした低照度化手法であるLLFormerを紹介する。
論文 参考訳（メタデータ） (2022-12-22T09:05:07Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳（メタデータ） (2022-07-11T07:50:22Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳（メタデータ） (2022-04-21T14:40:32Z) - Activation to Saliency: Forming High-Quality Labels for Unsupervised
Salient Object Detection [54.92703325989853]
本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。
トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。
本フレームワークは,既存のUSOD法と比較して高い性能を示した。
論文 参考訳（メタデータ） (2021-12-07T11:54:06Z) - Learned Camera Gain and Exposure Control for Improved Visual Feature
Detection and Matching [12.870196901446208]
我々は、環境照明の変化を考慮に入れたデータ駆動型アプローチを探求し、ビジュアル・オドメトリー(VO)や視覚同時像定位マッピング(SLAM)で使用する画像の品質を改善した。
我々は、カメラゲインと露出時間パラメータを予測的に調整するために、深層畳み込みニューラルネットワークモデルを訓練する。
我々は、我々のネットワークが劇的な照明変化を予想し、補うことができるような、広範囲な実世界の実験を通して実証する。
論文 参考訳（メタデータ） (2021-02-08T16:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。