論文の概要: Self-Supervised Motion Magnification by Backpropagating Through Optical Flow

• arxiv url: http://arxiv.org/abs/2311.17056v1
• Date: Tue, 28 Nov 2023 18:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 17:01:05.595257
• Title: Self-Supervised Motion Magnification by Backpropagating Through Optical Flow
• Title（参考訳）: 光流のバックプロパゲートによる自励運動拡大
• Authors: Zhaoying Pan, Daniel Geng, Andrew Owens
• Abstract要約: 本稿では,映像中の微妙な動きを拡大する自己教師型手法を提案する。 我々は、その新しい光学フローが所望の量でスケールするようにビデオを操作する。 本稿では、生成した映像の光学的流れを推定し、与えられた拡大係数から逸脱した場合の距離をペナルティ化する損失関数を提案する。
• 参考スコア（独自算出の注目度）: 16.80592879244362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a simple, self-supervised method for magnifying subtle motions in video: given an input video and a magnification factor, we manipulate the video such that its new optical flow is scaled by the desired amount. To train our model, we propose a loss function that estimates the optical flow of the generated video and penalizes how far if deviates from the given magnification factor. Thus, training involves differentiating through a pretrained optical flow network. Since our model is self-supervised, we can further improve its performance through test-time adaptation, by finetuning it on the input video. It can also be easily extended to magnify the motions of only user-selected objects. Our approach avoids the need for synthetic magnification datasets that have been used to train prior learning-based approaches. Instead, it leverages the existing capabilities of off-the-shelf motion estimators. We demonstrate the effectiveness of our method through evaluations of both visual quality and quantitative metrics on a range of real-world and synthetic videos, and we show our method works for both supervised and unsupervised optical flow methods.
• Abstract（参考訳）: 本稿では,映像中の微妙な動きを簡易かつ自己教師ありで拡大する手法を提案する。入力映像と拡大係数を与えられた場合,新たな光フローを所望の量で拡大するように映像を操作する。 本モデルでは,生成した映像の光学的流れを推定し,与えられた拡大係数から逸脱した場合の距離をペナライズする損失関数を提案する。 したがって、トレーニングは、事前訓練された光フローネットワークを通しての分化を伴う。 我々のモデルは自己教師型であるため、入力ビデオ上で微調整することで、テスト時間適応によるパフォーマンスの向上が可能である。 ユーザが選択したオブジェクトのみの動きを拡大するために拡張することもできる。 提案手法は,事前学習に基づくアプローチのトレーニングに使用されている合成倍率データセットの必要性を回避する。 代わりに、オフザシェルフモーション推定器の既存の能力を活用する。 本手法の有効性を実世界および合成ビデオの視覚的品質と定量的指標の両面から評価し, 教師なしおよび教師なしの両方の光学的フロー法に有効であることを示す。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Revisiting Learning-based Video Motion Magnification for Real-time Processing [23.148430647367224]
  動画の動きを拡大する技術は、裸眼で見えないビデオの中で微妙な動きを捉え、増幅する技術である。 FLOPを4.2倍小さくし,従来よりも2.7倍高速なリアルタイム深層学習に基づく動き倍率モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:57:08Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)
• Dimensions of Motion: Learning to Predict a Subspace of Optical Flow from a Single Image [50.9686256513627]
  本稿では,1つのビデオフレームから,実際の瞬時光フローを含む低次元の光フローのサブスペースを予測する問題を紹介する。 いくつかの自然シーンの仮定によって、不均一性によってパラメータ化されたベースフローフィールドの集合を通して、適切なフロー部分空間を特定できることを示す。 これは、カメラの内在やポーズを必要とせずに、単眼入力ビデオを使用して教師なしの方法でこれらのタスクを学習する新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2021-12-02T18:52:54Z)
• Self-supervised Video Object Segmentation by Motion Grouping [79.13206959575228]
  動きの手がかりを利用して物体をセグメンテーションできるコンピュータビジョンシステムを開発した。 本稿では,光フローフレームを一次オブジェクトと背景に分割するトランスフォーマーの簡単なバリエーションを紹介する。 提案したアーキテクチャを公開ベンチマーク(DAVIS2016, SegTrackv2, FBMS59)で評価する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:32Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• MotionSqueeze: Neural Motion Feature Learning for Video Understanding [46.82376603090792]
  モーションはビデオを理解する上で重要な役割を担い、ビデオ分類のための最先端のニューラルモデルにはモーション情報が含まれる。 本研究では,光学流の外部および重い計算を内部および軽量な運動特徴学習に置き換える。 提案手法は,アクション認識のための4つの標準ベンチマークにおいて,少ない追加コストで大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2020-07-20T08:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。