論文の概要: Unsupervised Motion Representation Enhanced Network for Action Recognition

• arxiv url: http://arxiv.org/abs/2103.03465v1
• Date: Fri, 5 Mar 2021 04:14:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 14:51:40.161274
• Title: Unsupervised Motion Representation Enhanced Network for Action Recognition
• Title（参考訳）: 行動認識のための非監視動作表現強化ネットワーク
• Authors: Xiaohang Yang, Lingtong Kong, Jie Yang
• Abstract要約: 連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
• 参考スコア（独自算出の注目度）: 4.42249337449125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning reliable motion representation between consecutive frames, such as optical flow, has proven to have great promotion to video understanding. However, the TV-L1 method, an effective optical flow solver, is time-consuming and expensive in storage for caching the extracted optical flow. To fill the gap, we propose UF-TSN, a novel end-to-end action recognition approach enhanced with an embedded lightweight unsupervised optical flow estimator. UF-TSN estimates motion cues from adjacent frames in a coarse-to-fine manner and focuses on small displacement for each level by extracting pyramid of feature and warping one to the other according to the estimated flow of the last level. Due to the lack of labeled motion for action datasets, we constrain the flow prediction with multi-scale photometric consistency and edge-aware smoothness. Compared with state-of-the-art unsupervised motion representation learning methods, our model achieves better accuracy while maintaining efficiency, which is competitive with some supervised or more complicated approaches.
• Abstract（参考訳）: 光学フローなどの連続したフレーム間の信頼性の高い動き表現を学ぶことは、ビデオ理解に大きな促進をもたらしています。 しかし, 効率的な光フロー解決器であるTV-L1法は, 抽出した光フローをキャッシュするために, 時間と費用がかかる。 このギャップを埋めるために, UF-TSN を提案する。この UF-TSN は, 軽量な非監視光フロー推定器を組み込んだ, エンドツーエンドのアクション認識手法である。 UF-TSNは、隣接するフレームからの運動キューを粗密に推定し、特徴のピラミッドを抽出し、最後のレベルの推定フローに従って互いに反動することにより、各レベルの小さな変位に焦点を合わせます。 アクションデータセットのラベル付き動作がないため、マルチスケールのフォトメトリック一貫性とエッジアウェアスムースさでフロー予測を制限します。 最先端の非教師あり動作表現学習法と比較すると,我々のモデルは効率を保ちながら精度が向上し,教師ありあるいはより複雑なアプローチと競合する。

関連論文リスト

• Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
  コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:18:28Z)
• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Flow Dynamics Correction for Action Recognition [43.95003560364798]
  我々は,光学的フローに依存する既存の動作認識モデルが,補正された光学的フローによって性能を向上できることを示す。 最適な光学的フロー特徴のみを選択することで,修正されたフローダイナミクスを簡単なステップで一般的なモデルに統合する。
  論文  参考訳（メタデータ） (2023-10-16T04:49:06Z)
• TransFlow: Transformer as Flow Learner [22.727953339383344]
  本稿では,光フロー推定のためのトランスフォーマーアーキテクチャであるTransFlowを提案する。 フロー推定において、より正確な相関と信頼できるマッチングを提供する。 ダイナミックなシーンにおける長距離時間的関連を通して、フロー推定においてより妥協された情報を復元する。
  論文  参考訳（メタデータ） (2023-04-23T03:11:23Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• PAN: Towards Fast Action Recognition via Learning Persistence of Appearance [60.75488333935592]
  最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。 本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。 我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。 光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
  論文  参考訳（メタデータ） (2020-08-08T07:09:54Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。