論文の概要: Optimal OnTheFly Feedback Control of Event Sensors
- arxiv url: http://arxiv.org/abs/2408.12976v1
- Date: Fri, 23 Aug 2024 10:49:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:20:16.365070
- Title: Optimal OnTheFly Feedback Control of Event Sensors
- Title（参考訳）: イベントセンサの最適オンザフライフィードバック制御
- Authors: Valery Vishnevskiy, Greg Burman, Sebastian Kozerke, Diederik Paul Moeys,
- Abstract要約: イベントベースの視覚センサは、ピクセル強度の変動が閾値を超えるとトリガされるイベントの非同期ストリームを生成する。
本稿では,過去のイベントをコントローラネットワークが解析する,アクティベーションしきい値の動的フィードバック制御手法を提案する。
本手法は,LPIPSの知覚的画像差度測定値において,固定的およびランダムに変化する閾値スキームを6～12%向上させることを示した。
- 参考スコア（独自算出の注目度）: 0.14999444543328289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based vision sensors produce an asynchronous stream of events which are triggered when the pixel intensity variation exceeds a predefined threshold. Such sensors offer significant advantages, including reduced data redundancy, micro-second temporal resolution, and low power consumption, making them valuable for applications in robotics and computer vision. In this work, we consider the problem of video reconstruction from events, and propose an approach for dynamic feedback control of activation thresholds, in which a controller network analyzes the past emitted events and predicts the optimal distribution of activation thresholds for the following time segment. Additionally, we allow a user-defined target peak-event-rate for which the control network is conditioned and optimized to predict per-column activation thresholds that would eventually produce the best possible video reconstruction. The proposed OnTheFly control scheme is data-driven and trained in an end-to-end fashion using probabilistic relaxation of the discrete event representation. We demonstrate that our approach outperforms both fixed and randomly-varying threshold schemes by 6-12% in terms of LPIPS perceptual image dissimilarity metric, and by 49% in terms of event rate, achieving superior reconstruction quality while enabling a fine-tuned balance between performance accuracy and the event rate. Additionally, we show that sampling strategies provided by our OnTheFly control are interpretable and reflect the characteristics of the scene. Our results, derived from a physically-accurate simulator, underline the promise of the proposed methodology in enhancing the utility of event cameras for image reconstruction and other downstream tasks, paving the way for hardware implementation of dynamic feedback EVS control in silicon.
- Abstract（参考訳）: イベントベースの視覚センサは、画素強度の変動が予め定義された閾値を超えるとトリガされるイベントの非同期ストリームを生成する。
このようなセンサーは、データ冗長性の低減、マイクロ秒の時間分解能、低消費電力などの大きな利点をもたらし、ロボット工学やコンピュータビジョンの応用に有用である。
本研究では,イベントからの映像再構成の問題点を考察し,コントローラネットワークが過去のイベントを分析し,次の時間セグメントにおけるアクティベーションしきい値の最適分布を予測することによって,アクティベーションしきい値の動的フィードバック制御を行うアプローチを提案する。
さらに、制御ネットワークが条件付きで最適化されたユーザ定義の目標ピークイベントレートを許容し、列ごとのアクティベーション閾値を予測し、最終的には最高のビデオ再構成を可能にする。
提案するOnTheFly制御方式は,離散イベント表現の確率的緩和を用いて,エンドツーエンドでデータ駆動と訓練を行う。
提案手法は,LPIPSの知覚的イメージの相違度指標で6～12%,イベントレートで49%,精度とイベントレートとの微調整のバランスを保ちつつ,再現性の向上を実現している。
さらに,OnTheFly制御によって提供されるサンプリング戦略が解釈可能であり,シーンの特性を反映していることを示す。
本研究は, 物理精度シミュレータをベースとして, 画像再構成などの下流タスクにおけるイベントカメラの実用性を向上し, シリコンにおける動的フィードバックESV制御のハードウェア実装への道を開くことを目的とした。
関連論文リスト
- Leveraging Event Streams with Deep Reinforcement Learning for End-to-End UAV Tracking [1.8297494098768172]
我々は,無人航空機(UAV)の自律性を高めるために,イベントカメラ,低エネルギー撮像センサを用いたアクティブトラッキング手法を提案する。
提案したトラッキングコントローラは、搭載されたイベントセンサからの視覚的フィードバックに応答し、ドローンの動きを目標に追従するように調整するように設計されている。
論文 参考訳（メタデータ） (2024-10-03T07:56:40Z) - Revisit Event Generation Model: Self-Supervised Learning of Event-to-Video Reconstruction with Implicit Neural Representations [11.874972134063638]
本稿では,ラベル付きデータや光フロー推定を必要としない新しいSSLイベント・ビデオ再構成手法であるEvINRを提案する。
我々は、(x, y, t)$を座標とする暗黙的ニューラル表現(INR)を用いて、事象発生方程式を表現する。
オンラインの要求に対してEvINRを実現するために,トレーニングプロセスを大幅に高速化するいくつかのアクセラレーション手法を提案する。
論文 参考訳（メタデータ） (2024-07-26T04:18:10Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Motion-Scenario Decoupling for Rat-Aware Video Position Prediction:
Strategy and Benchmark [49.58762201363483]
本研究では,個人や環境の影響要因を考慮し,生物ロボットの動き予測データセットであるRatPoseを紹介する。
本稿では,シナリオ指向とモーション指向を効果的に分離するDual-stream Motion-Scenario Decouplingフレームワークを提案する。
難易度が異なるタスクに対して,提案したtextitDMSD フレームワークの大幅な性能向上を示す。
論文 参考訳（メタデータ） (2023-05-17T14:14:31Z) - EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised
Event-based Optical Flow with Hybrid Motion-Compensation Loss [4.266841662194981]
イベントカメラは、高時間分解能や高ダイナミックレンジなどの有望な特性を提供する。
現在、既存のイベントベースのほとんどの作品では、光学フローを推定するためにディープラーニングを使用している。
本稿では,教師なしイベントベース光フロー推定パイプラインであるEV-MGRFlowNetを提案する。
論文 参考訳（メタデータ） (2023-05-13T07:08:48Z) - ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation [101.19290845597918]
本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
論文 参考訳（メタデータ） (2022-03-22T13:40:26Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - Event-LSTM: An Unsupervised and Asynchronous Learning-based
Representation for Event-based Data [8.931153235278831]
イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。
LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。
また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
論文 参考訳（メタデータ） (2021-05-10T09:18:52Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary
Dynamic Vision Sensors [5.674895233111088]
本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。
静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。
静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
論文 参考訳（メタデータ） (2020-05-31T03:01:35Z) - Accelerating Deep Reinforcement Learning With the Aid of Partial Model:
Energy-Efficient Predictive Video Streaming [97.75330397207742]
深層強化学習を用いて,モバイルネットワーク上でのエネルギー効率の高いビデオストリーミングのための予測電力割り当てを考案した。
連続状態と行動空間を扱うために、我々はDeep Deterministic Policy gradient (DDPG)アルゴリズムを利用する。
シミュレーションの結果,提案手法は完全大規模チャネル予測に基づいて導出される最適方針に収束することが示された。
論文 参考訳（メタデータ） (2020-03-21T17:36:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。