論文の概要: DeLiVR: Differential Spatiotemporal Lie Bias for Efficient Video Deraining
- arxiv url: http://arxiv.org/abs/2509.21719v1
- Date: Fri, 26 Sep 2025 00:29:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.091776
- Title: DeLiVR: Differential Spatiotemporal Lie Bias for Efficient Video Deraining
- Title(参考訳): DeLiVR: 効率的なビデオデライニングのための時間差分リーバイアス
- Authors: Shuning Sun, Jialang Lu, Xiang Chen, Jichao Wang, Dianjie Lu, Guijuan Zhang, Guangwei Gao, Zhuoran Zheng,
- Abstract要約: ネットワークの注意点に直接リー群差分バイアスを注入する,効率的なビデオデラミニング手法であるDeLiVRを提案する。
回転有界リー相対バイアスは、コンパクトな予測モジュールを用いて各フレームの面内角度を予測する。
微分群変位は、速度を推定するために隣接するフレーム間の角度差を計算する。
このバイアスは、時間的減衰とアテンションマスクを組み合わせて、雨の流れの方向を正確に一致させながら、フレーム間の関係に焦点を当てる。
- 参考スコア(独自算出の注目度): 21.816338275013702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Videos captured in the wild often suffer from rain streaks, blur, and noise. In addition, even slight changes in camera pose can amplify cross-frame mismatches and temporal artifacts. Existing methods rely on optical flow or heuristic alignment, which are computationally expensive and less robust. To address these challenges, Lie groups provide a principled way to represent continuous geometric transformations, making them well-suited for enforcing spatial and temporal consistency in video modeling. Building on this insight, we propose DeLiVR, an efficient video deraining method that injects spatiotemporal Lie-group differential biases directly into attention scores of the network. Specifically, the method introduces two complementary components. First, a rotation-bounded Lie relative bias predicts the in-plane angle of each frame using a compact prediction module, where normalized coordinates are rotated and compared with base coordinates to achieve geometry-consistent alignment before feature aggregation. Second, a differential group displacement computes angular differences between adjacent frames to estimate a velocity. This bias computation combines temporal decay and attention masks to focus on inter-frame relationships while precisely matching the direction of rain streaks. Extensive experimental results demonstrate the effectiveness of our method on publicly available benchmarks.
- Abstract(参考訳): 野生で撮影されたビデオは、しばしば雨の流れ、ぼやけ、騒音に悩まされる。
さらに、カメラポーズのわずかな変更でさえ、フレーム間のミスマッチや一時的なアーティファクトを増幅することができる。
既存の方法は光学フローやヒューリスティックアライメントに依存しており、計算コストが高く、ロバスト性が低い。
これらの課題に対処するために、リー群は連続的な幾何学的変換を表現するための原則化された方法を提供し、ビデオモデリングにおける空間的および時間的一貫性を強制するのに適している。
この知見に基づいて,ネットワークの注意点に直接時空間リー群の差分バイアスを注入する,効率的なビデオデライニング手法であるDeLiVRを提案する。
具体的には、2つの相補的成分を導入する。
第一に、回転有界リー相対バイアスは、コンパクトな予測モジュールを用いて各フレームの面内角度を予測し、正規化座標を回転させ、基本座標と比較して特徴集約前の幾何整合性アライメントを達成する。
第二に、微分群変位は、隣接するフレーム間の角度差を計算し、速度を推定する。
このバイアス計算は、時間的減衰とアテンションマスクを組み合わせて、雨の流れの方向を正確に一致させながら、フレーム間の関係に焦点を当てる。
大規模な実験結果から,提案手法の有効性が示された。
関連論文リスト
- Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection [19.643936110623653]
ビデオ異常検出(VAD)は、特定のコンテキストと時間枠内の異常を識別することを目的としている。
近年の深層学習に基づくVADモデルは,高解像度フレームの生成によって有望な結果を示した。
本稿では, パッチ間関係予測タスクを通じて, VADの自己教師型学習手法を提案する。
論文 参考訳(メタデータ) (2024-03-28T03:07:16Z) - Match-Stereo-Videos: Bidirectional Alignment for Consistent Dynamic Stereo Matching [17.344430840048094]
最近の学習に基づく手法では, 一つのステレオペア上での最適性能が優先され, 時間的矛盾が生じている。
本研究では,隣接フレームの双方向アライメント機構を基本動作として開発する。
既存の手法とは異なり、我々はこのタスクを局所的なマッチングとグローバルアグリゲーションとしてモデル化する。
論文 参考訳(メタデータ) (2024-03-16T01:38:28Z) - Tight Fusion of Events and Inertial Measurements for Direct Velocity
Estimation [20.002238735553792]
本研究では,通常のカメラの代わりに動的視覚センサを用いて,一階キネマティクスのレベルで直接視覚-慣性融合を行う新しい手法を提案する。
本研究では, 短時間で高ダイナミックな状況下での速度推定がどのように得られるかを示す。
シミュレーションデータと実データの両方の実験により、提案された密接な事象-慣性融合が連続的かつ信頼性の高い速度推定に繋がることを示した。
論文 参考訳(メタデータ) (2024-01-17T15:56:57Z) - Modelling Latent Dynamics of StyleGAN using Neural ODEs [52.03496093312985]
我々は、GANから独立に反転した潜在符号の軌跡を学習する。
学習した連続軌道により、無限のフレームと一貫したビデオ操作を行うことができる。
提案手法は最先端の性能を実現するが,計算量が少なくなる。
論文 参考訳(メタデータ) (2022-08-23T21:20:38Z) - Controllable Augmentations for Video Representation Learning [34.79719112810065]
本稿では,ローカルクリップとグローバルビデオを併用して,詳細な地域レベルの対応から学習し,時間的関係を最小化する枠組みを提案する。
我々のフレームワークは、アクション認識とビデオ検索の3つのビデオベンチマークよりも優れており、より正確な時間的ダイナミクスを捉えることができる。
論文 参考訳(メタデータ) (2022-03-30T19:34:32Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Intrinsic Temporal Regularization for High-resolution Human Video
Synthesis [59.54483950973432]
時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。
フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。
我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
論文 参考訳(メタデータ) (2020-12-11T05:29:45Z) - Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in
the Wild [49.672487902268706]
本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。
複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
論文 参考訳(メタデータ) (2020-07-24T23:50:46Z) - Multiple Video Frame Interpolation via Enhanced Deformable Separable
Convolution [67.83074893311218]
カーネルベースの手法は、ソースフレームと空間適応型ローカルカーネルを囲む単一の畳み込みプロセスでピクセルを予測する。
本稿では,適応カーネルだけでなく,オフセット,マスク,バイアスを推定するための拡張変形性分離畳み込み(EDSC)を提案する。
提案手法は,幅広いデータセットを対象とした最先端の手法に対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-06-15T01:10:59Z) - Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。
そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
論文 参考訳(メタデータ) (2020-02-26T12:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。