論文の概要: Exploiting Optical Flow Guidance for Transformer-Based Video Inpainting
- arxiv url: http://arxiv.org/abs/2301.10048v1
- Date: Tue, 24 Jan 2023 14:44:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-01-25 13:25:21.392677
- Title: Exploiting Optical Flow Guidance for Transformer-Based Video Inpainting
- Title（参考訳）: 変圧器による映像塗装における光学的フロー誘導
- Authors: Kaidong Zhang, Jialun Peng, Jingjing Fu, Dong Liu
- Abstract要約: 本稿では,より効率的かつ効率的な映像インペイントを実現するためのフロー誘導トランス (FGT) を提案する。
FGT++は、既存のビデオインパインティングネットワークよりも優れていると実験的に評価されている。
- 参考スコア（独自算出の注目度）: 11.184855324609883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers have been widely used for video processing owing to the
multi-head self attention (MHSA) mechanism. However, the MHSA mechanism
encounters an intrinsic difficulty for video inpainting, since the features
associated with the corrupted regions are degraded and incur inaccurate self
attention. This problem, termed query degradation, may be mitigated by first
completing optical flows and then using the flows to guide the self attention,
which was verified in our previous work - flow-guided transformer (FGT). We
further exploit the flow guidance and propose FGT++ to pursue more effective
and efficient video inpainting. First, we design a lightweight flow completion
network by using local aggregation and edge loss. Second, to address the query
degradation, we propose a flow guidance feature integration module, which uses
the motion discrepancy to enhance the features, together with a flow-guided
feature propagation module that warps the features according to the flows.
Third, we decouple the transformer along the temporal and spatial dimensions,
where flows are used to select the tokens through a temporally deformable MHSA
mechanism, and global tokens are combined with the inner-window local tokens
through a dual perspective MHSA mechanism. FGT++ is experimentally evaluated to
be outperforming the existing video inpainting networks qualitatively and
quantitatively.
- Abstract（参考訳）: トランスフォーマーはマルチヘッド・セルフアテンション(MHSA)機構によってビデオ処理に広く利用されている。
しかし,mhsa機構は,劣化した領域に関連する特徴が劣化し,不正確な自己注意を伴わないため,映像インパインティングが本質的に困難となる。
この問題はクエリ劣化と呼ばれ、最初に光学フローを完了し、フローを使って自己注意を導くことで緩和される可能性がある。
さらにフローガイダンスを活用し,より効率的かつ効率的な映像インペインティングを追求するためにfgt++を提案する。
まず,局所アグリゲーションとエッジ損失を用いて,軽量なフロー補完ネットワークを設計する。
第2に,問合せ劣化に対処するために,動きの不一致を利用して特徴量を高めるフロー誘導機能統合モジュールと,その特徴を特徴量に応じて逸脱させるフロー誘導機能伝達モジュールを提案する。
第3に、時間的および空間的次元に沿って変換器を分離し、時間的変形可能なMHSA機構でトークンの選択にフローを使用し、大域トークンは双対視点MHSA機構で内窓局所トークンと結合する。
FGT++は、既存のビデオインパインティングネットワークを質的かつ定量的に上回っていると実験的に評価されている。
関連論文リスト
- Coherent Video Inpainting Using Optical Flow-Guided Efficient Diffusion [15.188335671278024]
高速な映像コヒーレンスを実現するために,光フロー誘導効率拡散(FloED)を用いた新しい映像インペイントフレームワークを提案する。
FloEDはデュアルブランチアーキテクチャを採用しており、時間に依存しないフローブランチが最初に破損したフローを復元し、マルチスケールフローアダプタがメインの塗装ブランチにモーションガイダンスを提供する。
背景復元およびオブジェクト除去タスクの実験では、FloEDは最先端の拡散法よりも品質と効率の両方で優れていた。
論文 参考訳（メタデータ） (2024-12-01T15:45:26Z) - A Hybrid Transformer-Mamba Network for Single Image Deraining [70.64069487982916]
既存のデラリング変換器では、固定レンジウィンドウやチャネル次元に沿って自己アテンション機構を採用している。
本稿では,多分岐型トランスフォーマー・マンバネットワーク(Transformer-Mamba Network,TransMamba Network,Transformer-Mamba Network)を提案する。
論文 参考訳（メタデータ） (2024-08-31T10:03:19Z) - Dual-Stream Attention Transformers for Sewer Defect Classification [2.5499055723658097]
効率的な下水道欠陥分類のためのRGBおよび光フロー入力を処理するデュアルストリーム・ビジョン・トランスフォーマアーキテクチャを提案する。
私たちのキーとなるアイデアは、RGBとモーションストリームの相補的な強みを活用するために、自己注意の正則化を使用することです。
自己注意型レギュレータによる動作キューの活用により、RGBアテンションマップの整列と強化を行い、ネットワークが関連する入力領域に集中できるようにする。
論文 参考訳（メタデータ） (2023-11-07T02:31:51Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - ProPainter: Improving Propagation and Transformer for Video Inpainting [98.70898369695517]
フローベース伝播と計算変換器はビデオインテンポラルにおける2つの主流メカニズムである(VI)
我々は、画像と特徴のワープの利点を組み合わせた二重領域の伝搬を導入し、グローバルな対応を確実に活用する。
また,冗長なトークンを破棄することで高効率を実現するマスク誘導スパースビデオトランスも提案する。
論文 参考訳（メタデータ） (2023-09-07T17:57:29Z) - Flow-Guided Transformer for Video Inpainting [10.31469470212101]
本稿では,光フローが露出する動きのずれを革新的に活用し,高忠実度ビデオインペイントのためのトランスにおける注意検索を指導するフロー誘導型トランスフォーマーを提案する。
完成したフローでは、ビデオフレーム間でコンテンツを伝播し、残りの領域を合成するためにフロー誘導変換器を採用する。
時間的および空間的次元に沿って変換器を分離し、局所的に関連する完了フローを容易に統合し、空間的注意のみを指示できるようにします。
論文 参考訳（メタデータ） (2022-08-14T03:10:01Z) - Implicit Motion-Compensated Network for Unsupervised Video Object
Segmentation [25.41427065435164]
教師なしビデオオブジェクトセグメンテーション(UVOS)は、ビデオシーケンスの背景から一次前景オブジェクトを自動的に分離することを目的としている。
既存のUVOS手法では、視覚的に類似した環境(外観ベース)がある場合や、動的背景と不正確な流れ(フローベース)のために予測品質の劣化に悩まされている場合、堅牢性を欠いている。
本稿では,隣接するフレームから特徴レベルにおける現在のフレームへの一致した動き情報と相補的キュー(textiti.e.$, appearance and motion)を組み合わせた暗黙的動き補償ネットワーク(IMCNet)を提案する。
論文 参考訳（メタデータ） (2022-04-06T13:03:59Z) - Video Super-Resolution Transformer [85.11270760456826]
ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。
近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。
本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
論文 参考訳（メタデータ） (2021-06-12T20:00:32Z) - Augmented Transformer with Adaptive Graph for Temporal Action Proposal
Generation [79.98992138865042]
TAPGの長期的および局所的時間的コンテキストを利用するための適応グラフネットワーク(ATAG)を備えた拡張トランスを提案する。
具体的には、スニペット動作損失と前部ブロックを装着し、拡張トランスと呼ばれるバニラトランスを強化する。
位置情報と隣接特徴の差異をマイニングすることで局所時間文脈を構築するための適応型グラフ畳み込みネットワーク(gcn)を提案する。
論文 参考訳（メタデータ） (2021-03-30T02:01:03Z) - Efficient Two-Stream Network for Violence Detection Using Separable
Convolutional LSTM [0.0]
Separable Convolutional LSTM(SepConvLSTM)と予め訓練されたMobileNetを活用した効率的な2ストリームディープラーニングアーキテクチャを提案する。
SepConvLSTMは、ConvLSTMの各ゲートの畳み込み操作を深さ方向に分離可能な畳み込みに置き換えて構築されます。
我々のモデルは、大きくて挑戦的なrwf-2000データセットの精度を2%以上上回っている。
論文 参考訳（メタデータ） (2021-02-21T12:01:48Z) - Feature Flow: In-network Feature Flow Estimation for Video Object
Detection [56.80974623192569]
光の流れはコンピュータビジョンのタスクで広く使われ、ピクセルレベルのモーション情報を提供する。
一般的なアプローチは、ニューラルネットワークへの前向き光学フローと、タスクデータセット上のこのネットワークの微調整である。
ビデオオブジェクト検出のための textbfIn-network textbfFeature textbfFlow 推定モジュールを用いた新しいネットワーク (IFF-Net) を提案する。
論文 参考訳（メタデータ） (2020-09-21T07:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。