論文の概要: GAIA: Rethinking Action Quality Assessment for AI-Generated Videos

• arxiv url: http://arxiv.org/abs/2406.06087v2
• Date: Mon, 14 Oct 2024 15:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:02:20.371199
• Title: GAIA: Rethinking Action Quality Assessment for AI-Generated Videos
• Title（参考訳）: GAIA:AI生成ビデオのアクション品質アセスメントを再考
• Authors: Zijian Chen, Wei Sun, Yuan Tian, Jun Jia, Zicheng Zhang, Jiarui Wang, Ru Huang, Xiongkuo Min, Guangtao Zhai, Wenjun Zhang,
• Abstract要約: アクション品質アセスメント(AQA)アルゴリズムは、主に実際の特定のシナリオからのアクションに焦点を当て、規範的なアクション機能で事前訓練されている。 我々は,新たな因果推論の観点から大規模主観評価を行うことにより,GAIAを構築した。 その結果、従来のAQA手法、最近のT2Vベンチマークにおけるアクション関連指標、メインストリームビデオ品質手法は、それぞれ0.454、0.191、0.519のSRCCで性能が良くないことがわかった。
• 参考スコア（独自算出の注目度）: 56.047773400426486
• License:
• Abstract: Assessing action quality is both imperative and challenging due to its significant impact on the quality of AI-generated videos, further complicated by the inherently ambiguous nature of actions within AI-generated video (AIGV). Current action quality assessment (AQA) algorithms predominantly focus on actions from real specific scenarios and are pre-trained with normative action features, thus rendering them inapplicable in AIGVs. To address these problems, we construct GAIA, a Generic AI-generated Action dataset, by conducting a large-scale subjective evaluation from a novel causal reasoning-based perspective, resulting in 971,244 ratings among 9,180 video-action pairs. Based on GAIA, we evaluate a suite of popular text-to-video (T2V) models on their ability to generate visually rational actions, revealing their pros and cons on different categories of actions. We also extend GAIA as a testbed to benchmark the AQA capacity of existing automatic evaluation methods. Results show that traditional AQA methods, action-related metrics in recent T2V benchmarks, and mainstream video quality methods perform poorly with an average SRCC of 0.454, 0.191, and 0.519, respectively, indicating a sizable gap between current models and human action perception patterns in AIGVs. Our findings underscore the significance of action quality as a unique perspective for studying AIGVs and can catalyze progress towards methods with enhanced capacities for AQA in AIGVs.
• Abstract（参考訳）: アクション品質を評価することは、AI生成ビデオ(AIGV)内のアクションの本質的に曖昧な性質によってさらに複雑になる、AI生成ビデオの品質に重大な影響を与えるため、命令的かつ困難である。 現在のアクション品質評価(AQA)アルゴリズムは、主に実際の特定のシナリオからのアクションに焦点を当て、規範的なアクション機能で事前訓練されているため、AIGVでは適用できない。 これらの問題に対処するために、新しい因果推論に基づく大規模主観評価を行うことにより、ジェネリックAI生成アクションデータセットであるGAIAを構築し、9180対のビデオアクションペアのうち971,244が評価された。 GAIAに基づいて、視覚的に合理的なアクションを生成する能力に基づいて、人気のテキスト・ツー・ビデオ(T2V)モデル群を評価し、異なるカテゴリのアクションに対して、その長所と短所を明らかにする。 また,既存の自動評価手法のAQA能力をベンチマークするために,GAIAをテストベッドとして拡張する。 その結果、従来のAQA手法、最近のT2Vベンチマークにおけるアクション関連指標、主流ビデオ品質手法は、それぞれ0.454、0.191、0.519のSRCCで性能が悪く、AIGVにおける現在のモデルと人間の行動知覚パターンとの間に大きなギャップがあることが示されている。 本研究は, AIGV研究のユニークな視点として, 行動品質の重要性を浮き彫りにし, AIGVにおけるAQAの能力向上に資する手法の進歩を推察するものである。

関連論文リスト

• Advancing Video Quality Assessment for AIGC [17.23281750562252]
  本稿では,平均絶対誤差とクロスエントロピー損失を組み合わせ,フレーム間品質の不整合を緩和する新たな損失関数を提案する。 また,モデルの一般化能力を高めるために,敵対的トレーニングを活用しながら,重要なコンテンツを維持するために革新的なS2CNet技術を導入する。
  論文  参考訳（メタデータ） (2024-09-23T10:36:22Z)
• Revisiting Video Quality Assessment from the Perspective of Generalization [17.695835285573807]
  YouTube Shorts、TikTok、Kwaiなどの短いビデオプラットフォームは、ユーザー生成コンテンツ(UGC)の急増につながっている。 これらの課題は、テストセットのパフォーマンスに影響を与えるだけでなく、異なるデータセットをまたいで一般化する能力にも影響を及ぼす。 対向重み摂動は、この景観を効果的に滑らかにし、一般化性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-09-23T09:24:55Z)
• Benchmarking AIGC Video Quality Assessment: A Dataset and Unified Model [54.69882562863726]
  主観的および客観的品質評価の観点からAIGC-VQA問題を体系的に検討する。 我々は,空間的品質,時間的品質,テキスト・ツー・ビデオアライメントの3次元から,AIGCビデオの知覚品質を評価する。 本稿では,AIGCビデオの品質を包括的かつ正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-31T07:54:26Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• AIGIQA-20K: A Large Database for AI-Generated Image Quality Assessment [54.93996119324928]
  AIGIQA-20Kとして知られる2万のAIGIと420,000の主観評価を備えた、これまでで最大のAIGI主観的品質データベースを作成します。 このデータベース上でベンチマーク実験を行い、16の主流AIGI品質モデルと人間の知覚との対応性を評価する。
  論文  参考訳（メタデータ） (2024-04-04T12:12:24Z)
• AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
  我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。 3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。 我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-04-01T10:08:23Z)
• Multi-Stage Contrastive Regression for Action Quality Assessment [31.763380011104015]
  本稿では,アクション品質評価(AQA)タスクのためのMCoRe(Multi-stage Contrastive Regression)フレームワークを提案する。 グラフのコントラスト学習にヒントを得て,新たな段階的コントラスト学習損失関数を提案する。 MCoReは、広く採用されている詳細なAQAデータセット上で、最先端の結果を実証している。
  論文  参考訳（メタデータ） (2024-01-05T14:48:19Z)
• Group-aware Contrastive Regression for Action Quality Assessment [85.43203180953076]
  ビデオ間の関係は、より正確な行動品質評価のための重要な手がかりとなることを示す。 提案手法は従来の手法よりも大きなマージンを達成し,3つのベンチマークで新たな最先端の手法を確立する。
  論文  参考訳（メタデータ） (2021-08-17T17:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。