論文の概要: Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos
- arxiv url: http://arxiv.org/abs/2407.16124v1
- Date: Tue, 23 Jul 2024 02:10:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:55:32.869142
- Title: Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos
- Title（参考訳）: Fréchet Video Motion Distance:ビデオにおける動きの一貫性を評価する指標
- Authors: Jiahe Liu, Youran Qu, Qi Yan, Xiaohui Zeng, Lele Wang, Renjie Liao,
- Abstract要約: 映像生成における動きの整合性を評価することを目的としたFr'echet Video Motion Distanceメトリックを提案する。
具体的には、キーポイント追跡に基づく明示的な動作特徴を設計し、Fr'echet距離を用いてこれらの特徴間の類似度を測定する。
我々は大規模な人間の研究を行い、我々の測定値が時間的ノイズを効果的に検出し、既存の測定値よりも生成された映像品質の人間の知覚とよく一致していることを示す。
- 参考スコア（独自算出の注目度）: 13.368981834953981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Significant advancements have been made in video generative models recently. Unlike image generation, video generation presents greater challenges, requiring not only generating high-quality frames but also ensuring temporal consistency across these frames. Despite the impressive progress, research on metrics for evaluating the quality of generated videos, especially concerning temporal and motion consistency, remains underexplored. To bridge this research gap, we propose Fr\'echet Video Motion Distance (FVMD) metric, which focuses on evaluating motion consistency in video generation. Specifically, we design explicit motion features based on key point tracking, and then measure the similarity between these features via the Fr\'echet distance. We conduct sensitivity analysis by injecting noise into real videos to verify the effectiveness of FVMD. Further, we carry out a large-scale human study, demonstrating that our metric effectively detects temporal noise and aligns better with human perceptions of generated video quality than existing metrics. Additionally, our motion features can consistently improve the performance of Video Quality Assessment (VQA) models, indicating that our approach is also applicable to unary video quality evaluation. Code is available at https://github.com/ljh0v0/FMD-frechet-motion-distance.
- Abstract（参考訳）: 最近、ビデオ生成モデルにおいて重要な進歩がなされている。
画像生成とは異なり、ビデオ生成は、高品質なフレームを生成するだけでなく、これらのフレーム間の時間的一貫性を確保する必要がある。
目覚ましい進歩にもかかわらず、生成したビデオの品質、特に時間的・運動的一貫性を評価するための指標の研究は、いまだに過小評価されている。
この研究ギャップを埋めるために、ビデオ生成における動きの一貫性を評価するFVMD(Fr\'echet Video Motion Distance)メトリクスを提案する。
具体的には、キーポイント追跡に基づく明示的な動作特徴を設計し、Fr'echet距離を用いてこれらの特徴間の類似度を測定する。
実ビデオにノイズを注入して感度解析を行い,FVMDの有効性を検証する。
さらに、我々の測定値が時間的ノイズを効果的に検出し、既存の測定値よりも生成された映像品質の人間の知覚とよく一致していることを示す。
さらに,映像品質評価(VQA)モデルの性能を継続的に改善し,一元的映像品質評価にも適用可能であることを示す。
コードはhttps://github.com/ljh0v0/FMD-frechet-motion-distanceで公開されている。
関連論文リスト
- Perceptual Video Quality Assessment: A Survey [63.61214597655413]
映像品質評価は,映像処理分野において重要な役割を担っている。
過去20年間に様々な主観的・客観的な映像品質評価研究が実施されてきた。
この調査は、これらのビデオ品質アセスメント研究の最新かつ包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-02-05T16:13:52Z) - STREAM: Spatio-TempoRal Evaluation and Analysis Metric for Video Generative Models [6.855409699832414]
ビデオ生成モデルは、短いビデオクリップを生成するのに苦労する。
現在のビデオ評価メトリクスは、埋め込みをビデオ埋め込みネットワークに切り替えることによって、画像メトリクスの単純な適応である。
本稿では,空間的側面と時間的側面を独立に評価するために一意に設計された新しいビデオ評価指標STREAMを提案する。
論文 参考訳（メタデータ） (2024-01-30T08:18:20Z) - VMC: Video Motion Customization using Temporal Attention Adaption for
Text-to-Video Diffusion Models [58.93124686141781]
Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。
本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。
実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-12-01T06:50:11Z) - Tracking Everything Everywhere All at Once [111.00807055441028]
ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。
我々はOmniMotionと呼ばれる完全で一貫した動作表現を提案する。
提案手法は,従来の最先端手法よりも定量的にも定性的にも大きなマージンで優れている。
論文 参考訳（メタデータ） (2023-06-08T17:59:29Z) - Saliency-Aware Spatio-Temporal Artifact Detection for Compressed Video
Quality Assessment [16.49357671290058]
圧縮されたビデオは、しばしば知覚可能なテンポラルアーティファクト(PEAs)として知られる視覚的に厄介なアーティファクトを示す。
本稿では,4つの空間的PEA(ブラーリング,ブロッキング,出血,リング)と2つの時間的PEA(フリックリング,フローティング)が映像品質に与える影響について検討する。
6種類のPEAに基づいて,SSTAM(Saliency-Aware Spatio-Temporal Artifacts Measurement)と呼ばれる品質指標を提案する。
論文 参考訳（メタデータ） (2023-01-03T12:48:27Z) - A Perceptual Quality Metric for Video Frame Interpolation [6.743340926667941]
ビデオフレームの結果は、しばしばユニークな成果物であるので、既存の品質指標は、結果を測定するときに人間の知覚と一致しないことがある。
最近のディープラーニングベースの品質指標は、人間の判断とより整合性を示すが、時間的情報を考慮していないため、ビデオ上でのパフォーマンスは損なわれている。
本手法は,個々のフレームではなく,ビデオから直接知覚的特徴を学習する。
論文 参考訳（メタデータ） (2022-10-04T19:56:10Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - Coherent Loss: A Generic Framework for Stable Video Segmentation [103.78087255807482]
ビデオセグメンテーションの結果の視覚的品質を,ジッタリングアーティファクトがいかに劣化させるかを検討する。
本稿では,ニューラルネットワークの性能向上を目的とした汎用フレームワークを備えたコヒーレントロスを提案する。
論文 参考訳（メタデータ） (2020-10-25T10:48:28Z) - Hybrid Dynamic-static Context-aware Attention Network for Action
Assessment in Long Videos [96.45804577283563]
本稿では,長期ビデオにおけるアクションアセスメントのための新しいハイブリットDynAmic-static Context-aware AttenTION NETwork(ACTION-NET)を提案する。
ビデオのダイナミックな情報を学習すると同時に,特定フレームにおける検出した選手の静的姿勢にも焦点をあてる。
2つのストリームの特徴を組み合わせることで、専門家が与えた地道的なスコアによって監督され、最終的なビデオスコアを後退させます。
論文 参考訳（メタデータ） (2020-08-13T15:51:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。