論文の概要: Panoramas from Photons
- arxiv url: http://arxiv.org/abs/2309.03811v1
- Date: Thu, 7 Sep 2023 16:07:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 12:17:02.224144
- Title: Panoramas from Photons
- Title(参考訳): 光子からのパノラマ
- Authors: Sacha Jungerman, Atul Ingle, Mohit Gupta
- Abstract要約: 低光域や高ダイナミックレンジといった困難な条件下での極端なシーンの動きを推定できる手法を提案する。
本手法は, ファクト後のフレームを階層的にグループ化し, 集約することに依存する。
高速動作と極低光下での高画質パノラマの創出と,カスタム単光子カメラの試作による超高分解能化を実証した。
- 参考スコア(独自算出の注目度): 22.437940699523082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene reconstruction in the presence of high-speed motion and low
illumination is important in many applications such as augmented and virtual
reality, drone navigation, and autonomous robotics. Traditional motion
estimation techniques fail in such conditions, suffering from too much blur in
the presence of high-speed motion and strong noise in low-light conditions.
Single-photon cameras have recently emerged as a promising technology capable
of capturing hundreds of thousands of photon frames per second thanks to their
high speed and extreme sensitivity. Unfortunately, traditional computer vision
techniques are not well suited for dealing with the binary-valued photon data
captured by these cameras because these are corrupted by extreme Poisson noise.
Here we present a method capable of estimating extreme scene motion under
challenging conditions, such as low light or high dynamic range, from a
sequence of high-speed image frames such as those captured by a single-photon
camera. Our method relies on iteratively improving a motion estimate by
grouping and aggregating frames after-the-fact, in a stratified manner. We
demonstrate the creation of high-quality panoramas under fast motion and
extremely low light, and super-resolution results using a custom single-photon
camera prototype. For code and supplemental material see our
$\href{https://wisionlab.com/project/panoramas-from-photons/}{\text{project
webpage}}$.
- Abstract(参考訳): 高速モーションと低照度の存在下でのシーン再構成は、拡張現実や仮想現実、ドローンナビゲーション、自律ロボティクスといった多くの応用において重要である。
従来の動き推定手法はそのような条件下では失敗し、高速な動きと低照度環境での強い雑音の存在があまりにぼやけている。
単光子カメラは最近、高速で極端な感度のおかげで、毎秒数十万光子フレームを撮影できる有望な技術として登場した。
残念なことに、従来のコンピュータビジョン技術は、極端なポアソンノイズによって破壊されるため、これらのカメラが捉えた2値光子データを扱うのに適していない。
本稿では,低照度や高ダイナミックレンジなどの難易度条件下での極端なシーン動作を,単光子カメラで捉えたような高速画像フレーム列から推定する手法を提案する。
本手法は, フレームの集合とグループ化による動き推定を, 階層化された方法で反復的に改善することに依存する。
高速動作と極低光下での高画質パノラマの創出と,カスタム単光子カメラの試作による超高分解能化を実証した。
コードと補足資料については、$\href{https://wisionlab.com/project/panoramas-from-photons/}{\text{project webpage}}$をご覧ください。
関連論文リスト
- Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳(メタデータ) (2023-09-15T17:52:08Z) - E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。
本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
論文 参考訳(メタデータ) (2022-08-24T04:53:32Z) - High Dynamic Range and Super-Resolution from Raw Image Bursts [52.341483902624006]
本稿では,露光ブラケット付きハンドヘルドカメラで撮影した原写真からの高解像度・高ダイナミックレンジカラー画像の再構成について紹介する。
提案アルゴリズムは,画像復元における最先端の学習手法と比較して,メモリ要求の少ない高速なアルゴリズムである。
実験では、ハンドヘルドカメラで野生で撮影された実際の写真に最大4ドル(約4,800円)の超高解像度な要素で優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-29T13:31:28Z) - Learning Spatially Varying Pixel Exposures for Motion Deblurring [49.07867902677453]
本研究では,空間的に異なる画素の露光を利用して動きを損なう新しい手法を提案する。
我々の研究は、未来のコンピュータイメージングにおいて、焦点面センサー-プロセッサが果たすべき役割を説明している。
論文 参考訳(メタデータ) (2022-04-14T23:41:49Z) - Are High-Resolution Event Cameras Really Needed? [62.70541164894224]
低照度条件や高速環境では、低解像度カメラは高解像度カメラより優れ、帯域幅は大幅に小さくなる。
この主張は,高解像度のイベントカメラが画素当たりのイベントレートが高いことを示す実証的証拠と理論的証拠の両方を提示する。
多くの場合、高解像度のイベントカメラは、これらの条件下では低解像度のセンサーに比べてタスク性能が低い。
論文 参考訳(メタデータ) (2022-03-28T12:06:20Z) - Globally-Optimal Event Camera Motion Estimation [30.79931004393174]
イベントカメラは、HDR条件でよく機能し、時間分解能の高いバイオインスパイアされたセンサーである。
イベントカメラは、非同期ピクセルレベルの変更を測定し、高度に識別されたフォーマットでそれらを返す。
論文 参考訳(メタデータ) (2022-03-08T08:24:22Z) - Real-Time Optical Flow for Vehicular Perception with Low- and
High-Resolution Event Cameras [3.845877724862319]
イベントカメラは、観測されたシーンにおける照明の変化を捉え、画像を作成するために光を蓄積する。
我々は,低解像度および高解像度のイベントカメラを用いて,光学的流れをリアルタイムに計算するための最適化フレームワークを提案する。
我々は,低解像度運転シーケンスと高解像度運転シーケンスの両方に対するアプローチを評価し,現状よりも優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2021-12-20T15:09:20Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳(メタデータ) (2021-11-30T15:47:39Z) - Burst Imaging for Light-Constrained Structure-From-Motion [4.125187280299246]
低光環境下で得られた画像から3次元再構成を支援する画像処理技術を開発した。
バースト写真に基づく本手法は,短時間露光画像のバースト内における画像登録に直接的手法を用いる。
本手法は,低光環境下でのロボットの動作を可能にするための重要なステップであり,地中鉱山や夜間作業などの環境におけるロボットの動作に応用できる可能性がある。
論文 参考訳(メタデータ) (2021-08-23T02:12:40Z) - Photon-Starved Scene Inference using Single Photon Cameras [14.121328731553868]
本稿では,PPPレベルの広い範囲にまたがる高SNR画像の集合体として,光子スケール空間を提案する。
特徴表現空間において、異なる照明レベルの画像を互いに近接させる訓練手法を開発した。
提案手法に基づいて,SPADカメラを用いたシミュレーションおよび実実験により,各種推論タスクの高性能化を実証する。
論文 参考訳(メタデータ) (2021-07-23T02:27:03Z) - Quanta Burst Photography [15.722085082004934]
単光子アバランシェダイオード(SPADs)は、個々の入射光を検出できる新しいセンサー技術である。
本研究では,SPCを受動撮像装置として活用した量子バースト撮影技術について述べる。
論文 参考訳(メタデータ) (2020-06-21T16:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。