論文の概要: Event fields: Capturing light fields at high speed, resolution, and dynamic range
- arxiv url: http://arxiv.org/abs/2412.06191v1
- Date: Mon, 09 Dec 2024 04:02:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:54:47.043936
- Title: Event fields: Capturing light fields at high speed, resolution, and dynamic range
- Title（参考訳）: イベントフィールド:高速、解像度、ダイナミックレンジでの光フィールドのキャプチャ
- Authors: Ziyuan Qu, Zihao Zou, Vivek Boominathan, Praneeth Chakravarthula, Adithya Pediredla,
- Abstract要約: イベントフィールド(Event Fields)は、イベントカメラの革新的な光学設計を利用して、高速で光フィールドを捕捉する手法である。
イベントフィールドの基礎となる数学的フレームワークを開発し、それらを現実的に捉えるための2つの基礎的なフレームワークを導入します。
この新しい光センシングパラダイムは、写真、ロボティクス、AR/VRの新たな応用への扉を開き、レンダリングと機械学習における新たな課題を提示している。
- 参考スコア（独自算出の注目度）: 9.2152453085337
- License:
- Abstract: Event cameras, which feature pixels that independently respond to changes in brightness, are becoming increasingly popular in high-speed applications due to their lower latency, reduced bandwidth requirements, and enhanced dynamic range compared to traditional frame-based cameras. Numerous imaging and vision techniques have leveraged event cameras for high-speed scene understanding by capturing high-framerate, high-dynamic range videos, primarily utilizing the temporal advantages inherent to event cameras. Additionally, imaging and vision techniques have utilized the light field-a complementary dimension to temporal information-for enhanced scene understanding. In this work, we propose "Event Fields", a new approach that utilizes innovative optical designs for event cameras to capture light fields at high speed. We develop the underlying mathematical framework for Event Fields and introduce two foundational frameworks to capture them practically: spatial multiplexing to capture temporal derivatives and temporal multiplexing to capture angular derivatives. To realize these, we design two complementary optical setups one using a kaleidoscope for spatial multiplexing and another using a galvanometer for temporal multiplexing. We evaluate the performance of both designs using a custom-built simulator and real hardware prototypes, showcasing their distinct benefits. Our event fields unlock the full advantages of typical light fields-like post-capture refocusing and depth estimation-now supercharged for high-speed and high-dynamic range scenes. This novel light-sensing paradigm opens doors to new applications in photography, robotics, and AR/VR, and presents fresh challenges in rendering and machine learning.
- Abstract（参考訳）: 輝度の変化に独立して反応する画素を特徴とするイベントカメラは、レイテンシの低下、帯域幅の要求の低減、従来のフレームベースのカメラと比較してダイナミックレンジの強化などにより、高速アプリケーションで人気が高まっている。
多くの画像と視覚技術は、イベントカメラ固有の時間的優位性を利用して、高フレームの高ダイナミックレンジ映像をキャプチャすることで、イベントカメラを高速なシーン理解に活用している。
さらに、画像と視覚技術は、光場を時間的情報に補完する次元として利用し、シーン理解を強化している。
本研究では、イベントカメラの革新的な光学設計を利用して高速に光場を捕捉する「イベントフィールド」を提案する。
イベントフィールドの基礎となる数学的枠組みを開発し,時間的微分を捉える空間的多重化と,角的微分を捉える時間的多重化の2つの基礎的枠組みを実践的に導入する。
これらを実現するために,空間多重化のためのカレイダスコープと時空間多重化のためのガルバノメーターを用いた2つの補完光学装置を設計した。
カスタマイズされたシミュレータと実際のハードウェアプロトタイプを用いて,両設計の性能評価を行い,その利点を実証した。
我々のイベントフィールドは、高速・高ダイナミックレンジシーンにおいて、典型的な光場のような再焦点と深度推定の利点を最大限に活用する。
この新しい光センシングパラダイムは、写真、ロボティクス、AR/VRの新たな応用への扉を開き、レンダリングと機械学習における新たな課題を提示している。
関連論文リスト
- EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering [7.392798832833857]
イベントカメラは例外的な時間分解能と高いダイナミックレンジを提供する。
ガウススプラッティングによる新しいビュー合成におけるイベントカメラデータの利用法を提案する。
論文 参考訳（メタデータ） (2024-12-10T08:23:58Z) - Towards Real-world Event-guided Low-light Video Enhancement and Deblurring [39.942568142125126]
イベントカメラは、低照度環境における画質向上のための有望なソリューションとして登場した。
これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。
我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
論文 参考訳（メタデータ） (2024-08-27T09:44:54Z) - Radiance Fields from Photons [16.150757184515037]
単一光子カメラ(SPC)を用いて個々の光子の粒度を学習する神経放射場である量子放射場を導入する。
シミュレーションとプロトタイプのSPCハードウェア,高速動作下での高忠実度再構成,低光域,超ダイナミックレンジ設定による実演を行った。
論文 参考訳（メタデータ） (2024-07-12T16:06:51Z) - Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文 参考訳（メタデータ） (2024-02-19T08:59:58Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。
未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。
大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
論文 参考訳（メタデータ） (2023-03-24T04:03:55Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳（メタデータ） (2022-05-30T17:47:31Z) - Real-Time Optical Flow for Vehicular Perception with Low- and
High-Resolution Event Cameras [3.845877724862319]
イベントカメラは、観測されたシーンにおける照明の変化を捉え、画像を作成するために光を蓄積する。
我々は,低解像度および高解像度のイベントカメラを用いて,光学的流れをリアルタイムに計算するための最適化フレームワークを提案する。
我々は,低解像度運転シーケンスと高解像度運転シーケンスの両方に対するアプローチを評価し,現状よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-12-20T15:09:20Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。