論文の概要: Understanding Deformable Alignment in Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2009.07265v1
• Date: Tue, 15 Sep 2020 17:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 06:23:44.416956
• Title: Understanding Deformable Alignment in Video Super-Resolution
• Title（参考訳）: ビデオ超解像における変形性アライメントの理解
• Authors: Kelvin C.K. Chan, Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy
• Abstract要約: 変形可能な畳み込みは空間変形と畳み込みの組み合わせに分解可能であることを示す。 光フローによるオフセット学習を支援するオフセット忠実度損失を提案する。
• 参考スコア（独自算出の注目度）: 90.9481291865295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deformable convolution, originally proposed for the adaptation to geometric variations of objects, has recently shown compelling performance in aligning multiple frames and is increasingly adopted for video super-resolution. Despite its remarkable performance, its underlying mechanism for alignment remains unclear. In this study, we carefully investigate the relation between deformable alignment and the classic flow-based alignment. We show that deformable convolution can be decomposed into a combination of spatial warping and convolution. This decomposition reveals the commonality of deformable alignment and flow-based alignment in formulation, but with a key difference in their offset diversity. We further demonstrate through experiments that the increased diversity in deformable alignment yields better-aligned features, and hence significantly improves the quality of video super-resolution output. Based on our observations, we propose an offset-fidelity loss that guides the offset learning with optical flow. Experiments show that our loss successfully avoids the overflow of offsets and alleviates the instability problem of deformable alignment. Aside from the contributions to deformable alignment, our formulation inspires a more flexible approach to introduce offset diversity to flow-based alignment, improving its performance.
• Abstract（参考訳）: 変形可能な畳み込み(Deformable convolution)は、元来、幾何学的変化に適応するために提案されたが、最近、複数のフレームの整列において魅力的な性能を示しており、ビデオ超解像に採用されている。 その顕著な性能にもかかわらず、その基盤となるアライメントのメカニズムはいまだ不明である。 本研究では,変形可能なアライメントと古典的なフローベースアライメントとの関係を慎重に検討する。 変形可能な畳み込みは,空間的ゆがみと畳み込みの組み合わせに分解できることを示す。 この分解は変形可能なアライメントとフローベースのアライメントの共通性を明らかにするが、オフセットの多様性において重要な違いがある。 さらに、変形可能なアライメントの多様性の増大により、より良いアライメントが得られ、ビデオ超解像出力の品質が大幅に向上することを示す。 本稿では,光学的フローによるオフセット学習を誘導するオフセット忠実度損失を提案する。 実験により、我々の損失はオフセットのオーバーフローを回避し、変形可能なアライメントの不安定性問題を軽減できた。 変形可能なアライメントへの貢献とは別に、私たちの定式化は、フローベースのアライメントにオフセットの多様性を導入し、そのパフォーマンスを向上する、より柔軟なアプローチを生み出します。

関連論文リスト

• Generalizing Alignment Paradigm of Text-to-Image Generation with Preferences through $f$-divergence Minimization [9.242941447250969]
  本研究は,テキスト・ツー・イメージモデルのアライメントパラダイムにおける逆Kulback-Leibler分散を$f$-divergenceに拡張することに焦点を当てる。 本研究では,異なる分散制約下で,画像テキストアライメント性能,人的価値アライメント性能,世代多様性性能の総合評価を行う。
  論文  参考訳（メタデータ） (2024-09-15T15:46:03Z)
• Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
  本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。 傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。 本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
  論文  参考訳（メタデータ） (2024-08-23T14:39:27Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond [84.56978780892783]
  制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。 注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。 実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
  論文  参考訳（メタデータ） (2024-01-24T13:03:28Z)
• Training-Free Semantic Video Composition via Pre-trained Diffusion Model [96.0168609879295]
  現在のアプローチは、主に前景の色と照明を調整したビデオで訓練されており、表面的な調整以上の深い意味の相違に対処するのに苦労している。 本研究では,事前知識を付加した事前学習拡散モデルを用いた学習自由パイプラインを提案する。 実験の結果,我々のパイプラインは出力の視覚的調和とフレーム間のコヒーレンスを確実にすることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T13:07:22Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Learned Video Compression via Heterogeneous Deformable Compensation Network [78.72508633457392]
  不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。 より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。 実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-11T02:31:31Z)
• FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution [12.844337773258678]
  変形可能なコンボリューションに光流を統合するために,フロー誘導変形モジュール (FDM) を提案する。 FDANは、2つのベンチマークデータセットで最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-05-12T13:18:36Z)
• Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration [41.99534893489878]
  本稿では,ハイブリッド歪みの特徴レベル分割処理を実現するために,Distangled Feature Learningの概念を導入する。 具体的には,異なる歪みの特徴表現を異なるチャネルに分散するFDM(Feature Disentanglement Module)を提案する。 また,歪み表現を適応的にフィルタリングする機能集約モジュール (FAM) を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。