論文の概要: How Asynchronous Events Encode Video

• arxiv url: http://arxiv.org/abs/2206.04341v1
• Date: Thu, 9 Jun 2022 08:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 15:58:17.975515
• Title: How Asynchronous Events Encode Video
• Title（参考訳）: 非同期イベントが動画をエンコードする方法
• Authors: Karen Adam, Adam Scholefield, Martin Vetterli
• Abstract要約: イベントベースのカメラは、入力が変化したときにイベントを発生させるセンサーを備えており、イベントのタイミングで情報をエンコードする。 これにより、復元保証とアルゴリズムを確立する上で新たな課題が生まれるが、フレームベースのビデオよりもアドバンテージを提供する。 本稿では,帯域制限ビデオの時間符号化について考察し,空間センサ密度と全体空間分解能と時間分解能との依存性を示す。
• 参考スコア（独自算出の注目度）: 18.666472443354092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As event-based sensing gains in popularity, theoretical understanding is needed to harness this technology's potential. Instead of recording video by capturing frames, event-based cameras have sensors that emit events when their inputs change, thus encoding information in the timing of events. This creates new challenges in establishing reconstruction guarantees and algorithms, but also provides advantages over frame-based video. We use time encoding machines to model event-based sensors: TEMs also encode their inputs by emitting events characterized by their timing and reconstruction from time encodings is well understood. We consider the case of time encoding bandlimited video and demonstrate a dependence between spatial sensor density and overall spatial and temporal resolution. Such a dependence does not occur in frame-based video, where temporal resolution depends solely on the frame rate of the video and spatial resolution depends solely on the pixel grid. However, this dependence arises naturally in event-based video and allows oversampling in space to provide better time resolution. As such, event-based vision encourages using more sensors that emit fewer events over time.
• Abstract（参考訳）: イベントベースのセンシングの人気が高まるにつれ、この技術の可能性を活用するには理論的理解が必要である。 フレームをキャプチャしてビデオを録画する代わりに、イベントベースのカメラは、入力が変わったときにイベントを発生させるセンサーを備えている。 これにより、復元保証とアルゴリズムを確立する上で新たな課題が生まれるが、フレームベースのビデオよりもアドバンテージを提供する。 我々は時間エンコーディングマシンを用いてイベントベースセンサーをモデル化する。TEMはまた、そのタイミングと時間エンコーディングからの再構成を特徴とするイベントを出力することで入力をエンコードする。 帯域制限された映像を時間符号化する場合を考察し,空間センサ密度と全空間分解能および時間分解能の依存性を示す。 このような依存はフレームベースのビデオでは発生せず、時間分解能はビデオのフレームレートにのみ依存し、空間分解能はピクセルグリッドにのみ依存する。 しかし、この依存はイベントベースのビデオで自然に発生し、空間でのオーバーサンプリングによりより良い時間分解能が得られる。 そのため、イベントベースのビジョンは、時間とともに少ないイベントを発生させるより多くのセンサーの使用を促進する。

関連論文リスト

• Rethinking Video with a Universal Event-Based Representation [0.0]
  本稿では,新しい中間映像表現・システムフレームワークDeltaERについて紹介する。 私はADDeltaERが時間的冗長性の高いシーンに対して最先端のアプリケーション速度と圧縮性能を達成することを実証する。 大規模ビデオ監視とリソース制約センシングにおけるイベントベースビデオの影響について論じる。
  論文  参考訳（メタデータ） (2024-08-12T16:00:17Z)
• HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera [22.208120663778043]
  連続時空超解像(C-STVSR)は、任意のスケールで解像度とフレームレートを同時に向上することを目的としている。 我々は、暗黙的神経表現(INR)に基づいて、全体依存と局所運動の両方をキャプチャするHR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。 次に、時間的埋め込みを持つ新しいINRベースのデコーダを提案し、時間的知覚場を大きくすることで、長期的依存関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-05-22T06:51:32Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• V2CE: Video to Continuous Events Simulator [1.1009908861287052]
  ダイナミック・ビジョン・センサ(DVS)の特性を考慮した複数視点からのストリーム変換のための新しい手法を提案する。 慎重に設計された一連のタイムスタンプ損失は、生成されたイベントボクセルの品質を大幅に向上させるのに役立つ。 また,イベント・ボクセルからのイベント・タイムスタンプを連続的に再現するための局所動的推論手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T06:06:53Z)
• VideoComposer: Compositional Video Synthesis with Motion Controllability [52.4714732331632]
  VideoComposerを使えば、ユーザーはテキストの条件や空間的条件、さらに重要な時間的条件でビデオを柔軟に組み立てることができる。 圧縮ビデオからの運動ベクトルを明示的な制御信号として導入し、時間的ダイナミクスに関するガイダンスを提供する。 さらに、逐次入力の空間的・時間的関係を効果的に組み込むために、統一インターフェースとして機能する時空間条件エンコーダ(STC-エンコーダ)を開発した。
  論文  参考訳（メタデータ） (2023-06-03T06:29:02Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Exploring Long- and Short-Range Temporal Information for Learned Video Compression [54.91301930491466]
  圧縮性能を高めるために,映像コンテンツの特徴を活かし,時間的情報を探究することに注力する。 本稿では,画像群(GOP)内で画像の推測中に連続的に更新できる時間前処理を提案する。 この場合、時間的事前は、現在のGOP内のすべてのデコードされた画像の貴重な時間的情報を含む。 本稿では,マルチスケール補償を実現する階層構造を設計する。
  論文  参考訳（メタデータ） (2022-08-07T15:57:18Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Combining Events and Frames using Recurrent Asynchronous Multimodal Networks for Monocular Depth Prediction [51.072733683919246]
  複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。 従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。 平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:24:35Z)
• End-to-End Learning for Video Frame Compression with Self-Attention [25.23586503813838]
  ビデオフレームを圧縮するエンド・ツー・エンドの学習システムを提案する。 我々のシステムはフレームの深い埋め込みを学習し、その差分を潜時空間でエンコードする。 実験の結果,提案システムは高い圧縮率と高客観的な視覚的品質を実現することがわかった。
  論文  参考訳（メタデータ） (2020-04-20T12:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。