論文の概要: Low Light Video Enhancement by Learning on Static Videos with Cross-Frame Attention

• arxiv url: http://arxiv.org/abs/2210.04290v1
• Date: Sun, 9 Oct 2022 15:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:48:04.558244
• Title: Low Light Video Enhancement by Learning on Static Videos with Cross-Frame Attention
• Title（参考訳）: クロスフレーム注意を伴う静的ビデオの学習による低光度映像強調
• Authors: Shivam Chhirolya, Sameer Malik, Rajiv Soundararajan
• Abstract要約: 静的ビデオ上でのモデルトレーニングにより,低光度映像強調のための深層学習法を開発した。 既存の方法はフレーム単位で動作し、隣接するフレーム間の関係を利用できない。 本手法は,静的ビデオのみをトレーニングした場合に,他の最先端ビデオ強調アルゴリズムよりも優れることを示す。
• 参考スコア（独自算出の注目度）: 10.119600046984088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design of deep learning methods for low light video enhancement remains a challenging problem owing to the difficulty in capturing low light and ground truth video pairs. This is particularly hard in the context of dynamic scenes or moving cameras where a long exposure ground truth cannot be captured. We approach this problem by training a model on static videos such that the model can generalize to dynamic videos. Existing methods adopting this approach operate frame by frame and do not exploit the relationships among neighbouring frames. We overcome this limitation through a selfcross dilated attention module that can effectively learn to use information from neighbouring frames even when dynamics between the frames are different during training and test times. We validate our approach through experiments on multiple datasets and show that our method outperforms other state-of-the-art video enhancement algorithms when trained only on static videos.
• Abstract（参考訳）: 低光度ビデオエンハンスメントのための深層学習手法の設計は、低光度ビデオペアの撮影が困難であるため、依然として課題となっている。 これは、ダイナミックなシーンや長時間露光した地面の真実を捉えられない動くカメラの文脈では特に困難である。 モデルが動的ビデオに一般化できるように,静的ビデオ上でモデルをトレーニングすることで,この問題にアプローチする。 このアプローチを採用する既存の方法はフレームごとに動作し、隣り合うフレーム間の関係を活用しない。 学習時間とテスト時間の間にフレーム間のダイナミクスが異なる場合でも,隣接するフレームからの情報を効果的に学習できる自己クロス拡張アテンションモジュールによって,この制限を克服する。 本手法は,複数のデータセットを用いた実験を通して検証を行い,静的ビデオのみをトレーニングした場合に,他の最先端映像強調アルゴリズムよりも優れることを示す。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
  本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
  論文  参考訳（メタデータ） (2024-06-03T00:31:13Z)
• CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
  複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。 物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-01-10T00:40:05Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
  低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。 対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
  論文  参考訳（メタデータ） (2021-08-25T05:12:14Z)
• Semi-Supervised Action Recognition with Temporal Contrastive Learning [50.08957096801457]
  2つの異なる速度でラベル付きビデオを用いて2経路の時間的コントラストモデルを学習する。 我々は最先端の半教師付き画像認識手法の映像拡張性能を著しく向上させた。
  論文  参考訳（メタデータ） (2021-02-04T17:28:35Z)
• Video Deblurring by Fitting to Test Data [39.41334067434719]
  自律走行車やロボットが撮影した動画では、動きがぼやけている。 テストビデオにディープネットワークを組み込むことで,ビデオデブレーションに対する新たなアプローチを提案する。 ビデオからシャープなフレームを選択し、これらのシャープなフレームに畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-12-09T18:49:24Z)
• Deep Motion Blind Video Stabilization [4.544151613454639]
  この研究は、新しいデータセットの助けを借りて、ビデオ安定化の過度に複雑化した定式化を解消することを目的としている。 より厳密な生成技術を用いて,モーションブラインドフルフレーム映像の安定化学習に成功した。 本手法は,現在利用可能な最速ビデオ安定化方式よりも$sim3times$の高速化を実現する。
  論文  参考訳（メタデータ） (2020-11-19T07:26:06Z)
• Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
  我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。 本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。 提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2020-03-21T02:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。