論文の概要: Event-guided Neural Video Compression

• arxiv url: http://arxiv.org/abs/2610.02265v1
• Date: Thu, 01 Oct 2026 05:24:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.020432
• Title: Event-guided Neural Video Compression
• Title（参考訳）: イベント誘導型ニューラルビデオ圧縮
• Abstract要約: イベント誘導ニューラルビデオコーデック(ENVC)は、エンコーダとデコーダによって共有されるイベントを使用して、RGB圧縮効率を改善する。 モーションコーディングでは、ENVCはイベント誘導動作を事前に形成し、残りの動作残差を符号化する。 以上の結果から,RGB符号化率の低下にともなう相補的モダリティとしてイベントの可能性を示す。
• 参考スコア（独自算出の注目度）: 21.43291100486856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural video codecs derive motion and temporal contexts mainly from RGB frames, leaving room for cross-modal guidance from complementary temporal observations. Event streams can provide such observations by recording brightness changes between frames. In this work, we propose an Event-guided Neural Video Codec (ENVC) that uses events shared by the encoder and decoder to improve RGB compression efficiency. For motion coding, ENVC forms an event-guided motion prior and codes the remaining motion residual. For frame coding, an event-conditioned predictor supplies multi-scale features for gated temporal context refinement. To support training and evaluation on standard video datasets, we synthesize paired RGB-event data and assess its predictive utility through comparisons with real events. Across six benchmarks, ENVC achieves average BD-rate savings of 39.13% using PSNR-RGB and 67.63% using LPIPS relative to DCMVC. Further analyses show that our gains persist on large-motion sequences and that ENVC effectively learns to integrate event information. These results demonstrate the potential of events as a complementary modality for reducing the RGB coding rate. Our model and code are available at https://github.com/kjungwoo03/ENVC.
• Abstract（参考訳）: ニューラルビデオコーデックは、主にRGBフレームから動きと時間的文脈を導き、補完的な時間的観察から相互に指示する余地を残している。 イベントストリームは、フレーム間の明るさ変化を記録することで、そのような観察を提供することができる。 本研究では,エンコーダとデコーダが共有するイベントを用いて,RGB圧縮効率を向上させるイベント誘導ニューラルビデオコーデック(ENVC)を提案する。 モーションコーディングでは、ENVCはイベント誘導動作を事前に形成し、残りの動作残差を符号化する。 フレームコーディングでは、イベント条件付き予測器が時間的文脈改善のためのマルチスケール機能を提供する。 標準ビデオデータセットのトレーニングと評価を支援するため、実イベントとの比較により、ペアリングされたRGBイベントデータを合成し、その予測ユーティリティを評価する。 ENVCは6つのベンチマークで、PSNR-RGBを使用した平均BDレートの39.13%、DCMVCに対するLPIPSを使用した67.63%を達成している。 さらなる分析により、我々のゲインは大きな動きのシーケンスに留まり、ENVCはイベント情報の統合を効果的に学習していることが示された。 これらの結果から,RGB符号化率の低下に対する相補的モダリティとしての事象の可能性が示された。 私たちのモデルとコードはhttps://github.com/kjungwoo03/ENVC.comで公開されています。

関連論文リスト

• EdMCGS: Event-Driven Markov Chain Gaussian Splatting for Extreme-Low-Frame-Rate Dynamic Scene Reconstruction [9.357120004568564]
  イベントストリームとともに、超低フレームレートのRGBから動的3Dシーンをレンダリングするエンド・ツー・エンドのEDMCGSを提案する。 RGB画像のみに依存する手法は、連続するフレーム間の証拠の欠如により、多数のアーティファクトを生成する。 合成シーンと実世界のシーンの実験では、EDMCGSはRGBベースとイベントベースの両方のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-08T06:59:27Z)
• ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression [16.49973800168176]
  学習ビデオ圧縮のためのイベント支援補足運動再構成フレームワーク ENCOREは最大20.80%のPSNR-RGBと22.14%のMS-SSIM-RGBのBDレートを達成している。 BS-ERGB、HQ-EVFI、CEDに関する実験は、データセットとGOPの長さで一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-07-30T11:10:13Z)
• RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding [8.729091944523494]
  本稿では,RGB画像とイベントストリームを併用した2重ストリーム視覚言語モデルRE-VLMを提案する。 照度チャリングされたシーンをターゲットとしたPEOD-Chatと、さまざまなシナリオをカバーするRGBE-Chatの2つのデータセットを構築した。 キャプションとVQAのベンチマークでは、RE-VLMは最先端のRGBとイベントのみのモデルより一貫して優れている。
  論文  参考訳（メタデータ） (2026-05-19T04:07:37Z)
• UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models [67.24086328473437]
  イベントカメラは絶対強度よりも相対強度の変化を記録できる。 結果として得られたデータストリームは、空間情報と静的テクスチャの詳細が著しく失われることに悩まされる。 本稿では、事前学習したビデオ拡散モデルを用いて、スパースイベントデータから高忠実度ビデオフレームを再構成することで、この制限に対処する。
  論文  参考訳（メタデータ） (2026-02-22T14:06:49Z)
• Decoupling Amplitude and Phase Attention in Frequency Domain for RGB-Event based Visual Object Tracking [51.31378940976401]
  既存のRGB-Eventトラッキングアプローチでは、イベントカメラのユニークな利点を完全に活用できない。 本稿では,周波数領域の早期融合を実現する新しい追跡フレームワークを提案する。 FE108, FELT, COESOTなど, 広く使用されている3つのRGB-Event追跡ベンチマークデータセットの実験により, 提案手法の性能と効率を実証した。
  論文  参考訳（メタデータ） (2026-01-03T01:10:17Z)
• IE2Video: Adapting Pretrained Diffusion Models for Event-Based Video Reconstruction [4.452083769109418]
  イベントカメラは、低消費電力でスパースでモーション駆動のセンシングを提供する。 本稿では、連続イベントストリームと並行してスパースRGBシーケンスを記録するハイブリッドキャプチャパラダイムを提案する。 フルRGBビデオをオフラインで再構築します -- ダウンストリームアプリケーションの捕捉電力消費量を削減します。
  論文  参考訳（メタデータ） (2025-12-04T20:37:45Z)
• Learning Flow-Guided Registration for RGB-Event Semantic Segmentation [22.996619370156584]
  イベントカメラは、RGBセンサーを補完するマイクロ秒レベルのモーションキューをキャプチャする。 RGB-Eventセグメンテーションを融合から登録に再キャストする。 非対称なモーダル間の対応を適応的にマッチングする新しいフロー誘導双方向フレームワークであるBRENetを提案する。
  論文  参考訳（メタデータ） (2025-05-02T19:19:58Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。