論文の概要: DeblurSR: Event-Based Motion Deblurring Under the Spiking Representation

• arxiv url: http://arxiv.org/abs/2303.08977v1
• Date: Wed, 15 Mar 2023 22:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:41:32.440450
• Title: DeblurSR: Event-Based Motion Deblurring Under the Spiking Representation
• Title（参考訳）: DeblurSR:スパイク表現の下のイベントベースの動き
• Authors: Chen Song, Chandrajit Bajaj, Qixing Huang
• Abstract要約: 本稿では、ぼやけた画像をシャープなビデオに変換する新しいモーションデブロアリング手法を提案する。 DeblurSRはスパイキング表現を利用して、シャープな出力ビデオを時間から強度へのマッピングとしてパラメータ化する。 提案手法は,近年の暗黙的ニューラル表現の進歩と組み合わせることで,ビデオ超解像に容易に拡張できる。
• 参考スコア（独自算出の注目度）: 28.546457634111015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DeblurSR, a novel motion deblurring approach that converts a blurry image into a sharp video. DeblurSR utilizes event data to compensate for motion ambiguities and exploits the spiking representation to parameterize the sharp output video as a mapping from time to intensity. Our key contribution, the Spiking Representation (SR), is inspired by the neuromorphic principles determining how biological neurons communicate with each other in living organisms. We discuss why the spikes can represent sharp edges and how the spiking parameters are interpreted from the neuromorphic perspective. DeblurSR has higher output quality and requires fewer computing resources than state-of-the-art event-based motion deblurring methods. We additionally show that our approach easily extends to video super-resolution when combined with recent advances in implicit neural representation. The implementation and animated visualization of DeblurSR are available at https://github.com/chensong1995/DeblurSR.
• Abstract（参考訳）: 本稿では,ぼやけた映像をシャープな映像に変換する新しい動きデブラリング手法であるdeblursrを提案する。 DeblurSRはイベントデータを利用して動きのあいまいさを補償し、スパイキング表現を利用してシャープな出力ビデオを時間から強度へのマッピングとしてパラメータ化する。 私たちの重要な貢献であるスパイキング表現(SR)は、生物において生物学的ニューロンがどのように相互に通信するかを決定する神経型原理にインスパイアされています。 スパイクが鋭いエッジを表現できる理由と、スパイクパラメータがニューロモルフィックな視点からどのように解釈されるかについて議論する。 DeblurSRは出力品質が高く、最先端のイベントベースのモーションデブロア法よりも少ない計算資源を必要とする。 さらに,我々のアプローチは,暗黙的神経表現の最近の進歩と相まって,ビデオの超解像まで容易に拡張できることを示した。 DeblurSRの実装と視覚化はhttps://github.com/chensong1995/DeblurSRで公開されている。

関連論文リスト

• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 本研究では,周辺からの映像をシーン・モーション・アウェアで集約することで,新たな視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 本システムは、複雑なシーンとビュー依存効果をモデル化する従来の手法の利点を保ちつつ、制約のないカメラ軌道を持つ複雑なシーンのダイナミックスを特徴とする長編ビデオからのフォトリアリスティックなノベルビューを可能にする。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Neural Residual Flow Fields for Efficient Video Representations [5.904082461511478]
  入射神経表現(INR)は、画像、ビデオ、3D形状などの信号を表現するための強力なパラダイムとして登場した。 本稿では,データ冗長性を明示的に取り除き,ビデオの表現と圧縮を行う新しいINR手法を提案する。 本稿では,提案手法がベースライン法よりも有意差で優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-12T06:22:09Z)
• Towards Lightweight Neural Animation : Exploration of Neural Network Pruning in Mixture of Experts-based Animation Models [3.1733862899654652]
  対話型キャラクタアニメーションの文脈でニューラルネットワークを圧縮するために,プルーニングアルゴリズムを適用した。 同じ数の専門家とパラメータで、刈り取られたモデルは、密度の高いモデルよりも動きの人工物が少ない。 この研究は、同じ数の専門家とパラメータで、刈り取られたモデルは密度の高いモデルよりも動きの人工物が少ないことを示した。
  論文  参考訳（メタデータ） (2022-01-11T16:39:32Z)
• Relational Self-Attention: What's Missing in Attention for Video Understanding [52.38780998425556]
  リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:36:11Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
  マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。 アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
  論文  参考訳（メタデータ） (2020-09-22T07:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。