論文の概要: Error-Aware Spatial Ensembles for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2207.12305v1
• Date: Mon, 25 Jul 2022 16:15:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:58:47.328471
• Title: Error-Aware Spatial Ensembles for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のための誤り認識空間アンサンブル
• Authors: Zhixiang Chi, Rasoul Mohammadi Nasiri, Zheng Liu, Yuanhao Yu, Juwei Lu, Jin Tang, Konstantinos N Plataniotis
• Abstract要約: 近年,ビデオフレーム(VFI)アルゴリズムは,データ駆動アルゴリズムと実装の両面で前例のない進歩により,大幅に改善されている。 近年の研究では、挑戦的なVFIシナリオに対処する手段として、高度な動き推定や新しいワープ手法が導入されている。 本研究は、光フローとIEの相関関係を詳細に検討することにより、中間フレームを異なるIEレベルに対応する異なる領域に分割する新しいエラー予測指標を提案する。
• 参考スコア（独自算出の注目度）: 50.63021118973639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame interpolation~(VFI) algorithms have improved considerably in recent years due to unprecedented progress in both data-driven algorithms and their implementations. Recent research has introduced advanced motion estimation or novel warping methods as the means to address challenging VFI scenarios. However, none of the published VFI works considers the spatially non-uniform characteristics of the interpolation error (IE). This work introduces such a solution. By closely examining the correlation between optical flow and IE, the paper proposes novel error prediction metrics that partition the middle frame into distinct regions corresponding to different IE levels. Building upon this IE-driven segmentation, and through the use of novel error-controlled loss functions, it introduces an ensemble of spatially adaptive interpolation units that progressively processes and integrates the segmented regions. This spatial ensemble results in an effective and computationally attractive VFI solution. Extensive experimentation on popular video interpolation benchmarks indicates that the proposed solution outperforms the current state-of-the-art (SOTA) in applications of current interest.
• Abstract（参考訳）: ビデオフレーム補間〜(VFI)アルゴリズムは、近年、データ駆動アルゴリズムとその実装において前例のない進歩により、大幅に改善されている。 近年の研究では、挑戦的なVFIシナリオに対処する手段として、高度な動き推定や新しいワープ手法が導入されている。 しかしながら、公表されたVFIのどの作品も補間誤差(IE)の空間的に不均一な特性を考慮していない。 この研究はそのような解決策をもたらす。 本稿では、光フローとieの相関を詳細に検討し、中間フレームを異なるieレベルに対応する異なる領域に分割する新しい誤差予測指標を提案する。 このie駆動のセグメンテーションを基盤とし、新しいエラー制御損失関数を用いることで、セグメント化された領域を徐々に処理し統合する空間適応補間ユニットのアンサンブルを導入する。 この空間アンサンブルは、効果的で計算的に魅力的なVFIソリューションをもたらす。 一般的なビデオ補間ベンチマークによる広範囲な実験は、提案手法が現在の関心のあるアプリケーションにおける現在の最先端(sota)よりも優れていることを示している。

関連論文リスト

• Video Frame Interpolation with Region-Distinguishable Priors from SAM [19.350313166180747]
  領域識別可能な先駆体(RDP)は空間変化のガウス混合体として表される。 階層的領域対応機能融合モジュール(HRFFM)は、VFIエンコーダの様々な階層的な段階に組み込まれている。 実験により、RFFMは様々な場面で連続的にVFI性能を向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-26T03:27:30Z)
• Long-Term Invariant Local Features via Implicit Cross-Domain Correspondences [79.21515035128832]
  我々は、様々なドメイン変更の下で、現在の最先端特徴抽出ネットワークの性能を徹底的に分析する。 我々は、新しいデータ中心方式、Implicit Cross-Domain Correspondences (iCDC)を提案する。 iCDCは複数のニューラル・ラジアンス・フィールドで同じ環境を表し、それぞれが個々の視覚領域の下にシーンを適合させる。
  論文  参考訳（メタデータ） (2023-11-06T18:53:01Z)
• Surface EMG-Based Inter-Session/Inter-Subject Gesture Recognition by Leveraging Lightweight All-ConvNet and Transfer Learning [17.535392299244066]
  低解像度の瞬時HD-sEMG画像を用いたジェスチャー認識は、より流動的で自然な筋肉-コンピュータインターフェースを開発するための新たな道を開く。 セッション間とオブジェクト間シナリオ間のデータのばらつきは、大きな課題を示します。 既存のアプローチでは、非常に大きく複雑なConvNetまたは2SRNNベースのドメイン適応手法を使用して、これらのセッション間およびオブジェクト間データのばらつきに起因する分散シフトを近似した。 我々は、軽量なAll-ConvNetとTransfer Learning(TL)を利用した、セッション間およびオブジェクト間ジェスチャー認識の強化のための軽量All-ConvNet+TLモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-13T21:47:55Z)
• Non-Uniform Interpolation in Integrated Gradients for Low-Latency Explainable-AI [2.048335092363435]
  IG(Integrated Gradients)は、関連するスコアを入力機能に属性付けるXAIアルゴリズムである。 リアルタイムXAIを阻害する説明を生成するには、かなりの計算オーバーヘッドがある。 ベースラインの一様最適化に取って代わるIG属性スコアを計算するための,新しい一様でないスキームを提案する。
  論文  参考訳（メタデータ） (2023-02-22T03:03:28Z)
• Aligning Correlation Information for Domain Adaptation in Action Recognition [14.586677030468339]
  本稿では,画素相関の整合によるアクションビデオの整合化を目的とした新しい適応ネットワーク(ACAN)を提案する。 ACANは、Pixel correlation Discrepancy (PCD)として相関情報の分布を最小化することを目的としている。
  論文  参考訳（メタデータ） (2021-07-11T00:13:36Z)
• Unsupervised Domain Adaptation for Spatio-Temporal Action Localization [69.12982544509427]
  S時間動作の局所化はコンピュータビジョンにおいて重要な問題である。 本稿では、エンドツーエンドの教師なしドメイン適応アルゴリズムを提案する。 空間的特徴と時間的特徴を別々にあるいは共同的に適応した場合に,顕著な性能向上が達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-19T04:25:10Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)
• Cross-domain Object Detection through Coarse-to-Fine Feature Adaptation [62.29076080124199]
  本稿では,クロスドメインオブジェクト検出のための特徴適応手法を提案する。 粗粒度では、アテンション機構を採用して前景領域を抽出し、その辺縁分布に応じて整列する。 粒度の細かい段階では、同じカテゴリのグローバルプロトタイプと異なるドメインとの距離を最小化することにより、前景の条件分布アライメントを行う。
  論文  参考訳（メタデータ） (2020-03-23T13:40:06Z)
• Domain Adaptation: Learning Bounds and Algorithms [80.85426994513541]
  本稿では,任意の損失関数を持つ適応問題に適した分布距離,差分距離を新たに導入する。 広い損失関数族に対する領域適応のための新しい一般化境界を導出する。 また、正規化に基づくアルゴリズムの大規模クラスに対する新しい適応境界も提示する。
  論文  参考訳（メタデータ） (2009-02-19T18:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。