論文の概要: On the Content Bias in Fréchet Video Distance
- arxiv url: http://arxiv.org/abs/2404.12391v1
- Date: Thu, 18 Apr 2024 17:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 11:52:23.124052
- Title: On the Content Bias in Fréchet Video Distance
- Title（参考訳）: Fréchet Video Distanceにおけるコンテンツバイアスについて
- Authors: Songwei Ge, Aniruddha Mahapatra, Gaurav Parmar, Jun-Yan Zhu, Jia-Bin Huang,
- Abstract要約: Fr'echet Video Distance (FVD)は、ビデオ生成モデルを評価するための重要な指標である。
本稿では,時間的リアリズムよりもフレーム単位の品質に対するFVDの偏りについて検討する。
近年の大規模自己監督型ビデオモデルから抽出された特徴を持つFVDは画質に偏りが小さいことを示す。
- 参考スコア（独自算出の注目度）: 42.717821654744796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fr\'echet Video Distance (FVD), a prominent metric for evaluating video generation models, is known to conflict with human perception occasionally. In this paper, we aim to explore the extent of FVD's bias toward per-frame quality over temporal realism and identify its sources. We first quantify the FVD's sensitivity to the temporal axis by decoupling the frame and motion quality and find that the FVD increases only slightly with large temporal corruption. We then analyze the generated videos and show that via careful sampling from a large set of generated videos that do not contain motions, one can drastically decrease FVD without improving the temporal quality. Both studies suggest FVD's bias towards the quality of individual frames. We further observe that the bias can be attributed to the features extracted from a supervised video classifier trained on the content-biased dataset. We show that FVD with features extracted from the recent large-scale self-supervised video models is less biased toward image quality. Finally, we revisit a few real-world examples to validate our hypothesis.
- Abstract（参考訳）: Fr\'echet Video Distance (FVD) は、ビデオ生成モデルを評価する重要な指標であり、人間の知覚と時々衝突することが知られている。
本稿では,時間的リアリズムよりもフレーム単位の品質に対するFVDの偏りを調査し,その情報源を特定することを目的とする。
まず、フレームと動きの質を分離することにより、FVDの時間軸に対する感度を定量化し、FVDは時間軸の破壊によってわずかに増加する。
次に、生成されたビデオを分析し、動きを含まない大量のビデオから注意深くサンプリングすることで、時間的品質を向上することなく、FVDを大幅に削減できることを示す。
どちらの研究も、個々のフレームの品質に対するFVDの偏見を示唆している。
さらに、このバイアスは、コンテンツバイアスデータセットに基づいて訓練された教師付きビデオ分類器から抽出された特徴に起因する可能性があることを観察する。
近年の大規模自己監督型ビデオモデルから抽出された特徴を持つFVDは画質に偏りが小さいことを示す。
最後に、仮説を検証するために、いくつかの実例を再考する。
関連論文リスト
- Beyond FVD: Enhanced Evaluation Metrics for Video Generation Quality [8.068194154084967]
Fr't Video Distance (FVD) は、映像の配信品質を評価するために広く採用されている指標である。
解析の結果,(1)膨らませた3D Convnet(I3D)特徴空間の非ガウス性,(2)時間歪みに対するI3D特徴量の非感度,(3)信頼性評価に必要な非現実的なサンプルサイズ,の3つの重要な限界が明らかになった。
論文 参考訳（メタデータ） (2024-10-07T17:07:21Z) - STREAM: Spatio-TempoRal Evaluation and Analysis Metric for Video Generative Models [6.855409699832414]
ビデオ生成モデルは、短いビデオクリップを生成するのに苦労する。
現在のビデオ評価メトリクスは、埋め込みをビデオ埋め込みネットワークに切り替えることによって、画像メトリクスの単純な適応である。
本稿では,空間的側面と時間的側面を独立に評価するために一意に設計された新しいビデオ評価指標STREAMを提案する。
論文 参考訳（メタデータ） (2024-01-30T08:18:20Z) - Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal
Intervention [72.12974259966592]
トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。
Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-09-17T15:58:27Z) - Exploring the Effectiveness of Video Perceptual Representation in Blind
Video Quality Assessment [55.65173181828863]
表現の図形的形態を記述することにより、時間的歪みを測定するための時間的知覚品質指標(TPQI)を提案する。
実験の結果,TPQIは主観的時間的品質を予測する効果的な方法であることがわかった。
論文 参考訳（メタデータ） (2022-07-08T07:30:51Z) - DisCoVQA: Temporal Distortion-Content Transformers for Video Quality
Assessment [56.42140467085586]
いくつかの時間的変動は時間的歪みを引き起こし、余分な品質劣化を引き起こす。
人間の視覚システムは、しばしば異なる内容のフレームに対して異なる注意を向ける。
本稿では, この2つの問題に対処するための, トランスフォーマーを用いたVQA手法を提案する。
論文 参考訳（メタデータ） (2022-06-20T15:31:27Z) - Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。
我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
論文 参考訳（メタデータ） (2022-04-06T17:45:38Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。