論文の概要: ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression
- arxiv url: http://arxiv.org/abs/2607.28020v1
- Date: Thu, 30 Jul 2026 11:10:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.518806
- Title: ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression
- Title（参考訳）: ENCORE:学習ビデオ圧縮のためのイベント支援補足モーションリファインメント
- Abstract要約: 学習ビデオ圧縮のためのイベント支援補足運動再構成フレームワーク
ENCOREは最大20.80%のPSNR-RGBと22.14%のMS-SSIM-RGBのBDレートを達成している。
BS-ERGB、HQ-EVFI、CEDに関する実験は、データセットとGOPの長さで一貫した利得を示している。
- 参考スコア（独自算出の注目度）: 16.49973800168176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learned video compression relies on accurate temporal modeling to remove redundancy between adjacent frames. However, most existing codecs infer motion solely from discretely sampled RGB frames, making their estimates vulnerable to fast motion, blur, occlusion, weak texture, low illumination, and abrupt brightness changes. Event cameras asynchronously capture fine-grained intensity changes between RGB timestamps and therefore provide complementary evidence about inter-frame dynamics. We propose ENCORE, an Event-Assisted Complementary Motion Refinement framework for learned video compression. ENCORE first employs Complementary Motion Representation (CMR) to decompose aligned RGB-event features into common and modality-specific motion representations. Spatial Energy and Redundancy-Informed Calibration (SERIC) then identifies event-specific responses that are active and novel relative to RGB, suppresses weak or redundant evidence, and predicts a candidate flow correction. Finally, Energy-Aware Routing (EAR) determines where and how strongly the correction should refine the RGB flow. Events serve solely as an auxiliary modality for motion modeling, while RGB remains the only coding and reconstruction target. Experiments on BS-ERGB, HQ-EVFI, and CED demonstrate consistent gains across datasets and GOP lengths. On BS-ERGB, ENCORE achieves up to 20.80% PSNR-RGB and 22.14% MS-SSIM-RGB BD-rate savings, while retaining clear improvements on the other two datasets.
- Abstract（参考訳）: 学習されたビデオ圧縮は、隣接するフレーム間の冗長性を取り除くための正確な時間的モデリングに依存している。
しかし、既存のコーデックのほとんどは、離散サンプリングされたRGBフレームからのみ動きを推測し、その推定は高速な動き、ぼかし、閉塞、弱いテクスチャ、低い照明、突然の明るさ変化に弱い。
イベントカメラはRGBタイムスタンプ間の微細な強度変化を非同期に捉え、フレーム間ダイナミクスを補完する証拠を提供する。
本研究では,学習ビデオ圧縮のためのイベント支援補完運動再構成フレームワークENCOREを提案する。
ENCOREはまず補足運動表現(Complementary Motion Representation, CMR)を用いて、整列したRGBイベント特徴を共通かつモダリティ固有の運動表現に分解する。
空間エネルギー・冗長情報校正(SERIC)は、RGBに対して活動的で斬新な事象特異的反応を特定し、弱い証拠や冗長な証拠を抑え、予測フロー補正を予測する。
最後に、Energy-Aware Routing (EAR) は、その補正がRGBフローをどの位置、どのくらい改善するかを決定する。
イベントはモーションモデリングの補助的なモダリティとしてのみ機能するが、RGBは唯一のコーディングと再構築のターゲットである。
BS-ERGB、HQ-EVFI、CEDの実験は、データセットとGOPの長さで一貫した利得を示している。
BS-ERGBでは、ENCOREは最大20.80%のPSNR-RGBと22.14%のMS-SSIM-RGBのBDレートの節約を達成する。
関連論文リスト
- RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics [93.19893734404417]
ビデオデラリニングは、悪天候下での信頼性の高い知覚のために、雨の多いビデオからクリーンな視覚コンテンツを回復することを目的としている。
既存の手法は主にRGBシーケンスと時間的冗長性に依存しているが、動的雨の場面ではRGBのみの復元はあいまいである。
本研究では,分解前相互作用パラダイムに基づくプログレッシブなRGBイベントビデオデライニングフレームワークであるRainDancerを提案する。
論文 参考訳（メタデータ） (2026-07-15T13:08:21Z) - Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。
深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。
Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文 参考訳（メタデータ） (2026-07-10T06:52:09Z) - UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance [19.80142530142947]
高フレームレートのRGB-Dビデオは、モーション分析、動的シーン理解、3D再構成など、さまざまな下流タスクに不可欠である。
既存のビデオ手法は、RGBデータに対して高い性能を達成しているが、RGB-Dシナリオには適用できない。
本稿では,RGBの外観,深度幾何学,イベントベースの時間的手がかりを併用したRGB-Dビデオ用統合マルチモーダルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-23T08:03:58Z) - Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor [12.418360718687026]
動きのぼかしは露光期間中に急激なシーン変化が起こると発生し、リッチな露光中の動きを1つのRGBフレームに崩壊させる。
本稿では,RGB入力のぼやけた構造や色の詳細を復元するために,時空間差ガイドデブロアネット(STGDNet)を提案する。
提案手法は,合成CVSデータセットと実世界評価の両方において,現在のRGBやイベントベースのアプローチよりも優れている。
論文 参考訳（メタデータ） (2026-04-12T09:54:14Z) - Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking [8.019596736149834]
空間直交微細化(SOR)に基づくロバストなRGBイベント追跡のためのフレームワークであるSOR-Trackを提案する。
大規模なFE108ベンチマークの実験は、SOR-Trackが既存のフュージョンベースのトラッカーを一貫して上回っていることを示している。
その単純さにもかかわらず、提案手法はマルチモーダルな特徴アライメントとテクスチャの整合に対する原理的かつ物理的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-03-29T23:54:31Z) - Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing [58.25947399492333]
グレースケール・アレンジ,カラー・オン・デマンドという,効率的なストリーミングビデオ理解のための新しいパラダイムを提案する。
そこで我々は、カラーキャプチャーを窓付きグレースケール親和性分析に基づいて起動するオンライントレーニングフリートリガであるColorTriggerを提案する。
ストリーミングビデオ理解ベンチマークでは、ColorTriggerはフルカラーのベースライン性能の91.6%を達成し、8.1%のRGBフレームしか使用していない。
論文 参考訳（メタデータ） (2026-03-23T18:32:36Z) - Decoupling Amplitude and Phase Attention in Frequency Domain for RGB-Event based Visual Object Tracking [51.31378940976401]
既存のRGB-Eventトラッキングアプローチでは、イベントカメラのユニークな利点を完全に活用できない。
本稿では,周波数領域の早期融合を実現する新しい追跡フレームワークを提案する。
FE108, FELT, COESOTなど, 広く使用されている3つのRGB-Event追跡ベンチマークデータセットの実験により, 提案手法の性能と効率を実証した。
論文 参考訳（メタデータ） (2026-01-03T01:10:17Z) - Learning Frequency and Memory-Aware Prompts for Multi-Modal Object Tracking [74.15663758681849]
凍結したRGBトラッカーに軽量なプロンプトを注入するデュアルアダプタフレームワークであるLearning Frequency and Memory-Aware Promptsを紹介する。
周波数誘導型ビジュアルアダプタは、相補的なキューをモダリティ間で適応的に転送する。
短い、長い、永続的なメモリストアを持つマルチレベルメモリアダプタは、信頼できる時間的コンテキストを格納し、更新し、取得する。
論文 参考訳（メタデータ） (2025-06-30T15:38:26Z) - End-to-End RGB-IR Joint Image Compression With Channel-wise Cross-modality Entropy Model [39.52468600966148]
モダリティの数が増えると、必要なデータストレージと送信コストも2倍になる。
本研究は,RGB-IR画像ペアのための共同圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-27T02:04:21Z) - Learning Flow-Guided Registration for RGB-Event Semantic Segmentation [22.996619370156584]
イベントカメラは、RGBセンサーを補完するマイクロ秒レベルのモーションキューをキャプチャする。
RGB-Eventセグメンテーションを融合から登録に再キャストする。
非対称なモーダル間の対応を適応的にマッチングする新しいフロー誘導双方向フレームワークであるBRENetを提案する。
論文 参考訳（メタデータ） (2025-05-02T19:19:58Z) - Frequency-Adaptive Low-Latency Object Detection Using Events and Frames [23.786369609995013]
オブジェクト検出のためのFusing EventsとRGBイメージは、悪環境におけるEvent Cameraの堅牢性を活用する。
2つの重要なミスマッチ:低遅延イベント textitvs.high-latency RGB frame と時間的にスパースなラベル。
textbfFrequency-textbfAdaptive Low-Latency textbfObject textbfDetector (FAOD)を提案する。
論文 参考訳（メタデータ） (2024-12-05T13:23:06Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。