論文の概要: Video Frame Interpolation with Stereo Event and Intensity Camera

• arxiv url: http://arxiv.org/abs/2307.08228v1
• Date: Mon, 17 Jul 2023 04:02:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 14:54:27.152031
• Title: Video Frame Interpolation with Stereo Event and Intensity Camera
• Title（参考訳）: ステレオイベントとインテンシティカメラを用いたビデオフレーム補間
• Authors: Chao Ding, Mingyuan Lin, Haijian Zhang, Jianzhuang Liu, Lei Yu
• Abstract要約: 高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。 我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。 提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 40.07341828127157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The stereo event-intensity camera setup is widely applied to leverage the advantages of both event cameras with low latency and intensity cameras that capture accurate brightness and texture information. However, such a setup commonly encounters cross-modality parallax that is difficult to be eliminated solely with stereo rectification especially for real-world scenes with complex motions and varying depths, posing artifacts and distortion for existing Event-based Video Frame Interpolation (E-VFI) approaches. To tackle this problem, we propose a novel Stereo Event-based VFI (SE-VFI) network (SEVFI-Net) to generate high-quality intermediate frames and corresponding disparities from misaligned inputs consisting of two consecutive keyframes and event streams emitted between them. Specifically, we propose a Feature Aggregation Module (FAM) to alleviate the parallax and achieve spatial alignment in the feature domain. We then exploit the fused features accomplishing accurate optical flow and disparity estimation, and achieving better interpolated results through flow-based and synthesis-based ways. We also build a stereo visual acquisition system composed of an event camera and an RGB-D camera to collect a new Stereo Event-Intensity Dataset (SEID) containing diverse scenes with complex motions and varying depths. Experiments on public real-world stereo datasets, i.e., DSEC and MVSEC, and our SEID dataset demonstrate that our proposed SEVFI-Net outperforms state-of-the-art methods by a large margin.
• Abstract（参考訳）: ステレオイベント強度カメラの設定は、正確な明るさとテクスチャ情報をキャプチャする低レイテンシと強度カメラを持つイベントカメラの両方の利点を活用するために広く適用されている。 しかし、このようなセットアップは、特に複雑な動きと深さの異なる現実世界のシーンにおいて、特にステレオ修正のみでは排除が困難で、既存のイベントベースのビデオフレーム補間(E-VFI)アプローチでアーティファクトや歪みを装うことが一般的である。 そこで本稿では,2つのキーフレームとイベントストリームからなる不整合入力から,高品質な中間フレームを生成するためのステレオイベントベースvfi(se-vfi)ネットワーク(sevfi-net)を提案する。 具体的には,視差を緩和し,特徴領域における空間的アライメントを実現する機能アグリゲーションモジュール(fam)を提案する。 次に, 正確な光学的流れと不均一性推定を達成し, フローベース, 合成ベースの手法により, より良い補間結果を得る。 また、イベントカメラとRGB-Dカメラを組み合わせたステレオ視覚取得システムを構築し、複雑な動きと様々な深さを持つ多様なシーンを含む新しいステレオイベントインテンシティデータセット(SEID)を収集する。 パブリックな実世界のステレオデータセット(DSECとMVSEC)とSEIDデータセットの実験は、提案したSEVFI-Netが最先端の手法よりも大きなマージンで優れていることを示す。

関連論文リスト

• CoSEC: A Coaxial Stereo Event Camera Dataset for Autonomous Driving [15.611896480837316]
  ダイナミックレンジの高いイベントカメラは、マルチモーダル融合のためのフレームカメラのアシストに応用されている。 自動運転のための同軸ステレオイベントカメラ(CoSEC)データセットを提案する。
  論文  参考訳（メタデータ） (2024-08-16T02:55:10Z)
• EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset [55.12137324648253]
  イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。 本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-13T15:42:04Z)
• Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
  既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。 我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。 我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
  論文  参考訳（メタデータ） (2023-09-18T06:51:41Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
  本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。 我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。 コードとデータセットは公開されます。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• Self-Supervised Intensity-Event Stereo Matching [24.851819610561517]
  イベントカメラはバイオインスパイアされた新しい視覚センサーで、マイクロ秒の精度でピクセルレベルの強度変化を出力する。 イベントカメラは、高品質の強度とイベントを同時に得ることができないため、計算画像タスクに直接適用することはできない。 本稿では,スタンドアロンのイベントカメラと近代的な強度カメラを接続して,両センサを応用することを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T14:52:25Z)
• Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception [17.585862399941544]
  イベントカメラは、各ピクセルの明るさ変化を微妙な時間分解能で独立に報告する際、制限に対処する。 統合型複合イベントフレームセンサー(DAVIS)が利用可能だが、データの品質はそのようなカメラの回路製造におけるピクセルレベルでの結合によって損なわれる。 本稿では,高品質なイベントカメラと純粋なフレームカメラを分離したセンサモダリティを提供するステレオハイブリッドイベントフレーム(SHEF)カメラシステムを提案する。
  論文  参考訳（メタデータ） (2021-10-11T04:03:36Z)
• Event-based Stereo Visual Odometry [42.77238738150496]
  ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。 我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
  論文  参考訳（メタデータ） (2020-07-30T15:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。