論文の概要: bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction

• arxiv url: http://arxiv.org/abs/2410.23247v2
• Date: Wed, 06 Nov 2024 17:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:21:03.529855
• Title: bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction
• Title（参考訳）: bit2bit: 自己教師型光子予測による1ビット量子ビデオ再構成
• Authors: Yehe Liu, Alexander Krull, Hector Basevi, Ales Leonardis, Michael W. Jenkins,
• Abstract要約: 疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
• 参考スコア（独自算出の注目度）: 57.199618102578576
• License:
• Abstract: Quanta image sensors, such as SPAD arrays, are an emerging sensor technology, producing 1-bit arrays representing photon detection events over exposures as short as a few nanoseconds. In practice, raw data are post-processed using heavy spatiotemporal binning to create more useful and interpretable images at the cost of degrading spatiotemporal resolution. In this work, we propose bit2bit, a new method for reconstructing high-quality image stacks at the original spatiotemporal resolution from sparse binary quanta image data. Inspired by recent work on Poisson denoising, we developed an algorithm that creates a dense image sequence from sparse binary photon data by predicting the photon arrival location probability distribution. However, due to the binary nature of the data, we show that the assumption of a Poisson distribution is inadequate. Instead, we model the process with a Bernoulli lattice process from the truncated Poisson. This leads to the proposal of a novel self-supervised solution based on a masked loss function. We evaluate our method using both simulated and real data. On simulated data from a conventional video, we achieve 34.35 mean PSNR with extremely photon-sparse binary input (<0.06 photons per pixel per frame). We also present a novel dataset containing a wide range of real SPAD high-speed videos under various challenging imaging conditions. The scenes cover strong/weak ambient light, strong motion, ultra-fast events, etc., which will be made available to the community, on which we demonstrate the promise of our approach. Both reconstruction quality and throughput substantially surpass the state-of-the-art methods (e.g., Quanta Burst Photography (QBP)). Our approach significantly enhances the visualization and usability of the data, enabling the application of existing analysis techniques.
• Abstract（参考訳）: SPADアレイのような量子イメージセンサーは、光子検出イベントを表す1ビットアレイを数ナノ秒で生成する新しいセンサー技術である。 実際、生データは重い時空間ビンニングを用いて後処理され、時空間分解能を劣化させるコストでより有用で解釈可能な画像を生成する。 本研究では,スパースバイナリ量子化画像データから高画質の画像スタックを時間分解能で再構成する手法であるbit2bitを提案する。 近年のPoisson denoisingに触発されて,光子到着確率分布を予測して疎二元光子データから高密度画像列を生成するアルゴリズムを開発した。 しかし、データのバイナリの性質から、ポアソン分布の仮定が不十分であることを示す。 代わりに、切り詰められたポアソンからベルヌーイ格子プロセスでプロセスをモデル化する。 これにより、マスク付き損失関数に基づく新しい自己教師付きソリューションが提案される。 シミュレーションデータと実データの両方を用いて本手法の評価を行う。 従来のビデオのシミュレーションデータから, 極端に光子スパースなバイナリ入力(フレーム当たり0.06光子)を持つPSNRの平均値が34.35であることを示す。 また,様々な課題の画像条件下で,SPADの高速映像を広範囲に含む新しいデータセットを提案する。 シーンは、強い/弱い環境光、強い動き、超高速なイベントなどをカバーしています。 復元品質とスループットはどちらも最先端の手法(例えばQuanta Burst Photography (QBP))を大幅に上回っている。 提案手法はデータの可視化とユーザビリティを大幅に向上させ,既存の解析手法の適用を可能にした。

関連論文リスト

• Transientangelo: Few-Viewpoint Surface Reconstruction Using Single-Photon Lidar [8.464054039931245]
  ライダーは、ターゲットに光のパルスを放出し、反射光の光速遅延を記録することで、3Dシーンの幾何学を捉えている。 従来のライダーシステムは、後方散乱光の生で捕獲された波形を出力しない。 我々は,光子ノイズに対するロバスト性を向上させる新しい正則化戦略を開発し,画素あたり10光子程度で正確な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T08:12:09Z)
• Equipping Diffusion Models with Differentiable Spatial Entropy for Low-Light Image Enhancement [7.302792947244082]
  本研究では,決定論的画素間比較から統計的視点へ焦点を移す新しい手法を提案する。 中心となる考え方は、損失関数に空間エントロピーを導入して、予測と目標の分布差を測定することである。 具体的には,拡散モデルにエントロピーを装備し,L1ベースノイズマッチング損失よりも高精度で知覚品質の向上を図っている。
  論文  参考訳（メタデータ） (2024-04-15T12:35:10Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Deep Richardson-Lucy Deconvolution for Low-Light Image Deblurring [48.80983873199214]
  我々は,飽和画素を学習潜時マップでモデル化するデータ駆動型手法を開発した。 新しいモデルに基づいて、非盲検除色タスクを最大後部(MAP)問題に定式化することができる。 増幅されたアーティファクトを使わずに高品質な劣化画像を推定するために,我々は事前推定ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-08-10T12:53:30Z)
• Curvature regularization for Non-line-of-sight Imaging from Under-sampled Data [5.591221518341613]
  非視線イメージング(NLOS)は、視線で測定されたデータから3次元の隠れたシーンを再構築することを目的としている。 曲率正規化に基づく新しいNLOS再構成モデルを提案する。 提案したアルゴリズムを,合成データセットと実データセットの両方で評価する。
  論文  参考訳（メタデータ） (2023-01-01T14:10:43Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Deep Unfolded Recovery of Sub-Nyquist Sampled Ultrasound Image [94.42139459221784]
  本稿では,ISTAアルゴリズムの展開に基づく時空間領域におけるサブNyquistサンプルからの再構成手法を提案する。 本手法は,高品質な撮像性能を確保しつつ,配列要素数,サンプリングレート,計算時間を削減できる。
  論文  参考訳（メタデータ） (2021-03-01T19:19:38Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。