論文の概要: An Ensemble Approach to Short-form Video Quality Assessment Using Multimodal LLM

• arxiv url: http://arxiv.org/abs/2412.18060v1
• Date: Tue, 24 Dec 2024 00:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:10.403496
• Title: An Ensemble Approach to Short-form Video Quality Assessment Using Multimodal LLM
• Title（参考訳）: マルチモーダルLDMを用いた映像品質評価のためのアンサンブルアプローチ
• Authors: Wen Wen, Yilin Wang, Neil Birkbeck, Balu Adsumilli,
• Abstract要約: 多様なコンテンツ、編集スタイル、アーティファクトを特徴とするショートフォームビデオは、学習ベースのブラインドビデオ品質評価モデルに挑戦する。 本稿では,事前学習したマルチモーダル大言語モデルを短時間のビデオ品質評価に有効活用することに焦点を当てる。 本稿では,MLLMと最先端BVQAモデルからの予測を適応的に統合する,軽量な学習ベースアンサンブル手法を提案する。
• 参考スコア（独自算出の注目度）: 26.622775349040836
• License:
• Abstract: The rise of short-form videos, characterized by diverse content, editing styles, and artifacts, poses substantial challenges for learning-based blind video quality assessment (BVQA) models. Multimodal large language models (MLLMs), renowned for their superior generalization capabilities, present a promising solution. This paper focuses on effectively leveraging a pretrained MLLM for short-form video quality assessment, regarding the impacts of pre-processing and response variability, and insights on combining the MLLM with BVQA models. We first investigated how frame pre-processing and sampling techniques influence the MLLM's performance. Then, we introduced a lightweight learning-based ensemble method that adaptively integrates predictions from the MLLM and state-of-the-art BVQA models. Our results demonstrated superior generalization performance with the proposed ensemble approach. Furthermore, the analysis of content-aware ensemble weights highlighted that some video characteristics are not fully represented by existing BVQA models, revealing potential directions to improve BVQA models further.
• Abstract（参考訳）: 多様なコンテンツ、編集スタイル、アーティファクトを特徴とするショートフォームビデオの興隆は、学習ベースのブラインドビデオ品質評価(BVQA)モデルに重大な課題をもたらす。 マルチモーダルな大言語モデル(MLLM)は、優れた一般化能力で知られており、有望なソリューションである。 本稿では,事前学習したMLLMを短時間のビデオ品質評価に有効活用すること,事前処理と応答変動の影響,BVQAモデルとMLLMの組み合わせに関する知見について述べる。 まず,フレーム前処理とサンプリングがMLLMの性能に与える影響について検討した。 そこで我々は,MLLMと最先端BVQAモデルからの予測を適応的に統合する,軽量な学習ベースアンサンブル手法を提案する。 提案手法により,より優れた一般化性能が得られた。 さらに、コンテンツ対応アンサンブル重みの分析により、既存のBVQAモデルでは映像特性が完全に表現されていないことが強調され、BVQAモデルをさらに改善するための潜在的な方向性が明らかにされた。

関連論文リスト

• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Can MLLMs Guide Weakly-Supervised Temporal Action Localization Tasks? [6.7065734065794835]
  MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。 MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。 キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
  論文  参考訳（メタデータ） (2024-11-13T09:37:24Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
  VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。 提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
  論文  参考訳（メタデータ） (2024-07-06T02:32:28Z)
• Enhancing Blind Video Quality Assessment with Rich Quality-aware Features [79.18772373737724]
  ソーシャルメディアビデオの視覚的品質評価(BVQA)モデルを改善するための,シンプルだが効果的な手法を提案する。 本稿では,BIQAモデルとBVQAモデルを用いて,事前学習したブラインド画像品質評価(BIQA)から,リッチな品質認識機能について検討する。 実験により,提案モデルが3つのソーシャルメディアVQAデータセット上で最高の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-14T16:32:11Z)
• Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward [118.65089648651308]
  本稿では,映像コンテンツのプロキシとして詳細な動画キャプションを利用する新しいフレームワークを提案する。 本稿では,DPOによる報酬の調整により,ビデオ質問応答(QA)タスクにおけるビデオLMMの性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-04-01T17:28:16Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models [71.06007696593704]
  BVQA(Blind Quality Assessment)は、実世界のビデオ対応メディアアプリケーションにおけるエンドユーザの視聴体験の監視と改善に不可欠である。 実験分野として、BVQAモデルの改良は、主に数個の人間の評価されたVQAデータセットに基づいて測定されている。 最小主義的BVQAモデルを用いて,VQAデータセットの第一種計算解析を行う。
  論文  参考訳（メタデータ） (2023-07-26T06:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。