論文の概要: Uncertainty-Guided Spatial Pruning Architecture for Efficient Frame
Interpolation
- arxiv url: http://arxiv.org/abs/2307.16555v4
- Date: Sat, 28 Oct 2023 02:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 20:22:26.239114
- Title: Uncertainty-Guided Spatial Pruning Architecture for Efficient Frame
Interpolation
- Title(参考訳): 効率的なフレーム補間のための不確実性誘導空間プルーニングアーキテクチャ
- Authors: Ri Cheng, Xuhao Jiang, Ruian He, Shili Zhou, Weimin Tan, Bo Yan
- Abstract要約: ビデオフレーム(VFI)モデルはすべての場所に畳み込み演算を適用し、簡単に動く領域で冗長な計算を行う。
冗長計算を省略する不確実性誘導型空間プラニングアーキテクチャを開発した。
提案手法は,複数のベンチマーク上でのFLOPの低下による最先端性能を実現する。
- 参考スコア(独自算出の注目度): 19.077966606237897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The video frame interpolation (VFI) model applies the convolution operation
to all locations, leading to redundant computations in regions with easy
motion. We can use dynamic spatial pruning method to skip redundant
computation, but this method cannot properly identify easy regions in VFI tasks
without supervision. In this paper, we develop an Uncertainty-Guided Spatial
Pruning (UGSP) architecture to skip redundant computation for efficient frame
interpolation dynamically. Specifically, pixels with low uncertainty indicate
easy regions, where the calculation can be reduced without bringing undesirable
visual results. Therefore, we utilize uncertainty-generated mask labels to
guide our UGSP in properly locating the easy region. Furthermore, we propose a
self-contrast training strategy that leverages an auxiliary non-pruning branch
to improve the performance of our UGSP. Extensive experiments show that UGSP
maintains performance but reduces FLOPs by 34%/52%/30% compared to baseline
without pruning on Vimeo90K/UCF101/MiddleBury datasets. In addition, our method
achieves state-of-the-art performance with lower FLOPs on multiple benchmarks.
- Abstract(参考訳): ビデオフレーム補間(VFI)モデルは、すべての場所に畳み込み演算を適用し、簡単に動く領域で冗長な計算を行う。
動的空間プルーニング法を用いて冗長な計算をスキップできるが,vfiタスクの容易な領域を監視せずに適切に特定することはできない。
本稿では,フレーム補間を動的に行うために冗長計算を省略する不確実性誘導型空間プラニング(UGSP)アーキテクチャを提案する。
特に、不確実性の低い画素は、望ましくない視覚的結果をもたらすことなく計算を削減できる、容易な領域を示す。
そこで我々は,不確実なマスクラベルを用いてUGSPを誘導し,容易な領域を適切に配置する。
さらに,UGSPの性能向上のために,補助的な非刈取ブランチを活用する自己コントラストトレーニング戦略を提案する。
大規模な実験によると、UGSPはパフォーマンスを維持しているが、Vimeo90K/UCF101/MiddleBuryデータセットを使用せずにベースラインと比較してFLOPを34%/52%/30%削減する。
さらに,本手法は,複数のベンチマーク上でのFLOPの低下による最先端性能を実現する。
関連論文リスト
- ParaFormer: Parallel Attention Transformer for Efficient Feature
Matching [8.552303361149612]
本稿ではParaFormerという新しい並列アテンションモデルを提案する。
振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。
ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。
効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-03-02T03:29:16Z) - Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。
降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。
提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
論文 参考訳(メタデータ) (2022-07-21T12:50:54Z) - Exploring Motion Ambiguity and Alignment for High-Quality Video Frame
Interpolation [46.02120172459727]
本稿では,GTに近い中間フレームを可能な限り再構築する要件を緩和することを提案する。
本研究では,テクスチャ整合性損失 (TCL) を補間されたコンテンツが,与えられたフレーム内でのテクスチャ整合性損失 (TCL) と類似した構造を維持するべきであるという仮定に基づいて開発する。
論文 参考訳(メタデータ) (2022-03-19T10:37:06Z) - Federated Minimax Optimization: Improved Convergence Analyses and
Algorithms [32.062312674333775]
我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。
我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-09T16:21:31Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳(メタデータ) (2022-03-03T03:46:18Z) - Learning strides in convolutional neural networks [34.20666933112202]
この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。
音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
論文 参考訳(メタデータ) (2022-02-03T16:03:36Z) - Dynamic Probabilistic Pruning: A general framework for
hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。
このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。
DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文 参考訳(メタデータ) (2021-05-26T17:01:52Z) - Fast and Accurate Neural CRF Constituency Parsing [16.90190521285297]
この研究は、高速で正確なCRF行列計算を示す。
我々は、GPU上の大きなテンソル演算による損失に対する内部アルゴリズムをバッチ化し、効率的なバックプロパゲーションによる計算の外部アルゴリズムを避ける。
PTB, CTB5.1, CTB7の2段CRFは, w/o と w/BERT の両設定において,新しい最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2020-08-09T14:38:48Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳(メタデータ) (2020-08-06T04:38:38Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳(メタデータ) (2020-03-11T08:45:53Z) - Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。
パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。
適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
論文 参考訳(メタデータ) (2020-03-03T15:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。