論文の概要: Reading in the Dark with Foveated Event Vision
- arxiv url: http://arxiv.org/abs/2506.06918v1
- Date: Sat, 07 Jun 2025 20:50:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.565208
- Title: Reading in the Dark with Foveated Event Vision
- Title（参考訳）: ファブリックイベントビジョンによる暗闇での読書
- Authors: Carl Brander, Giovanni Cioffi, Nico Messikommer, Davide Scaramuzza,
- Abstract要約: RGBカメラを搭載した現在のスマートグラスは、低照度および高速な動作シナリオにおいて環境を知覚するのに苦労している。
スマートグラスのためのイベントベース光学文字認識(OCR)手法を提案する。
- 参考スコア（独自算出の注目度）: 16.831700279594127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current smart glasses equipped with RGB cameras struggle to perceive the environment in low-light and high-speed motion scenarios due to motion blur and the limited dynamic range of frame cameras. Additionally, capturing dense images with a frame camera requires large bandwidth and power consumption, consequently draining the battery faster. These challenges are especially relevant for developing algorithms that can read text from images. In this work, we propose a novel event-based Optical Character Recognition (OCR) approach for smart glasses. By using the eye gaze of the user, we foveate the event stream to significantly reduce bandwidth by around 98% while exploiting the benefits of event cameras in high-dynamic and fast scenes. Our proposed method performs deep binary reconstruction trained on synthetic data and leverages multimodal LLMs for OCR, outperforming traditional OCR solutions. Our results demonstrate the ability to read text in low light environments where RGB cameras struggle while using up to 2400 times less bandwidth than a wearable RGB camera.
- Abstract（参考訳）: RGBカメラを搭載した現在のスマートグラスは、動きのぼやけやフレームカメラのダイナミックレンジの制限により、低照度で高速な動きのシナリオで環境を知覚するのに苦労している。
さらに、フレームカメラで高密度画像をキャプチャするには、大きな帯域幅と消費電力を必要とするため、バッテリの消費が速くなる。
これらの課題は特に、画像からテキストを読み取るアルゴリズムの開発に関係している。
本稿では,スマートグラスのためのイベントベース光学文字認識(OCR)手法を提案する。
ユーザの視線を利用して、イベントストリームをフェーブし、高ダイナミックかつ高速なシーンにおけるイベントカメラの利点を活用しながら、帯域幅を約98%削減する。
提案手法は, 合成データに基づく深部バイナリ再構成を行い, 従来のOCR法よりも優れたマルチモーダルLLMをOCRに適用する。
その結果、RGBカメラは、ウェアラブルRGBカメラの最大2400倍の帯域幅を使用しながら、低照度環境でテキストを読むことができることを示した。
関連論文リスト
- Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view RGB and Event Streams [69.65147723239153]
動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。
照明が悪く、動きが速い場合には特に困難である。
本稿では,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時間的に再構築する手法を提案する。
論文 参考訳（メタデータ） (2024-12-09T18:56:18Z) - Event fields: Capturing light fields at high speed, resolution, and dynamic range [9.2152453085337]
イベントフィールド(Event Fields)は、イベントカメラの革新的な光学設計を利用して、高速で光フィールドを捕捉する手法である。
イベントフィールドの基礎となる数学的フレームワークを開発し、それらを現実的に捉えるための2つの基礎的なフレームワークを導入します。
この新しい光センシングパラダイムは、写真、ロボティクス、AR/VRの新たな応用への扉を開き、レンダリングと機械学習における新たな課題を提示している。
論文 参考訳（メタデータ） (2024-12-09T04:02:49Z) - EvenNICER-SLAM: Event-based Neural Implicit Encoding SLAM [69.83383687049994]
密集した視覚的同時局所化とマッピングのための新しいアプローチである EvenNICER-SLAM を提案する。
EvenNICER-SLAMは、絶対輝度ではなく強度変化に対応するイベントカメラを内蔵している。
以上の結果から,イベントカメラによる高密度SLAMシステムの高速カメラ動作に対する堅牢性向上の可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-04T13:52:01Z) - Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。
また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
論文 参考訳（メタデータ） (2024-09-26T15:57:20Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - Real-Time Optical Flow for Vehicular Perception with Low- and
High-Resolution Event Cameras [3.845877724862319]
イベントカメラは、観測されたシーンにおける照明の変化を捉え、画像を作成するために光を蓄積する。
我々は,低解像度および高解像度のイベントカメラを用いて,光学的流れをリアルタイムに計算するための最適化フレームワークを提案する。
我々は,低解像度運転シーケンスと高解像度運転シーケンスの両方に対するアプローチを評価し,現状よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-12-20T15:09:20Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking [16.06615504110132]
6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
論文 参考訳（メタデータ） (2020-06-09T01:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。