論文の概要: HiVE-VQA: Hierarchical Interaction via Volumetric Embedding for Video Quality Assessment
- arxiv url: http://arxiv.org/abs/2611.17146v1
- Date: Thu, 12 Nov 2026 17:32:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.571259
- Title: HiVE-VQA: Hierarchical Interaction via Volumetric Embedding for Video Quality Assessment
- Title(参考訳): HiVE-VQA:ビデオ品質評価のためのボリューム埋め込みによる階層的インタラクション
- Abstract要約: HiVE-VQAはJEPAベースのビデオエンコーダをこのタスクに適用する最初のフレームワークである。
LSVQでのみトレーニングされ、微調整なしで評価される。
HiVE-VQAは、SROCCとPLCCで17の最先端(SOTA)メソッドより優れている。
- 参考スコア(独自算出の注目度): 6.123505906341916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of user-generated video content has made accurate and robust no-reference video quality assessment (NR-VQA) a highly important challenge. Existing research increasingly relies on architecturally complex multi-branch pipelines or computationally intensive fine-tuning of single-branch backbones. In this paper, we investigate whether a single frozen video foundation model can serve as an effective NR-VQA backbone, and propose HiVE-VQA, the first framework (to our knowledge) to apply a JEPA-based video encoder to this task. HiVE-VQA extracts token grids from multiple depths of a pre-trained V-JEPA 2.1 encoder and stacks them into a hierarchical spatio-temporal volume, which a compact 3D convolutional head fuses across its layer, spatial, and temporal axes, combining low-level distortion cues from shallow layers with the semantic and temporal context captured at greater depths. The encoder remains frozen throughout, so only the head is trained: 5.2M parameters (5.7\% of the total), with no auxiliary multi-modal models and an inference cost that is invariant to video resolution. Trained solely on LSVQ and evaluated without any fine-tuning, HiVE-VQA outperforms 17 state-of-the-art (SOTA) methods in SROCC and PLCC on both intra-dataset (LSVQ-test, LSVQ-1080p) and cross-dataset (KoNViD-1k, LIVE-VQC) benchmarks. These results indicate that hierarchical, depth-wise fusion of features from a single frozen video foundation model provides a more effective and efficient basis for NR-VQA than task-specific multi-network fusion. Code and model checkpoints are available at https://github.com/RobHam99/HiVE-VQA.
- Abstract(参考訳): ユーザ生成ビデオコンテンツの拡散は、正確で堅牢なノン参照ビデオ品質評価(NR-VQA)を極めて重要な課題にしている。
既存の研究は、アーキテクチャ的に複雑なマルチブランチパイプラインや、計算的に集約的な単一ブランチバックボーンの微調整にますます依存している。
本稿では,単一のフリーズビデオ基盤モデルが有効なNR-VQAバックボーンとして機能するかどうかを考察し,この課題にJEPAベースのビデオエンコーダを適用した最初のフレームワークであるHiVE-VQAを提案する。
HiVE-VQAは、事前訓練されたV-JEPA 2.1エンコーダの複数の深さからトークングリッドを抽出し、それらを階層的な時空間体積に積み上げ、コンパクトな3次元畳み込みヘッドがその層、空間、時間軸に融合し、浅い層からの低レベルの歪みキューとより深い深さでキャプチャされた意味的および時間的コンテキストを組み合わせる。
5.2Mパラメータ(全体の5.7 %)、補助的なマルチモーダルモデルがなく、ビデオ解像度に不変な推論コストがある。
HiVE-VQA は LSVQ のみで訓練され、微調整なしで評価され、SROCC と PLCC の17の最先端 (SOTA) メソッドを、データ内 (LSVQ-test, LSVQ-1080p) とクロスデータセット (KoNViD-1k, LIVE-VQC) のベンチマークで上回っている。
これらの結果は, タスク固有のマルチネットワーク融合よりも, NR-VQAの階層的, 深さ的, 機能融合が, より効率的かつ効率的な基盤となることを示唆している。
コードとモデルチェックポイントはhttps://github.com/RobHam99/HiVE-VQA.comで入手できる。
関連論文リスト
- High-Fidelity Video Quality Assessment with VQA-Specific Saliency [1.6806593639401994]
ビデオデータは本質的に大きめであり、深層モデルで処理すると計算コストが高くなる。
この課題は、品質評価(VQA)において急激であり、オリジナル解像度の手がかりと高密度の時間情報の保存は正確性に欠かせない。
フラグメンテーションのような既存の効率駆動型前処理戦略は、入力データの分散を減らし、変更する。
HFVQA(HFVQA)は、予めトレーニングされた ViFM と完全に互換性のある、一定サイズの時空間 (NR) パッチ上に構築されたフレームワークである。
論文 参考訳(メタデータ) (2026-09-15T10:23:05Z) - CompressedVQA-AEV: Full-Reference and No-Reference Quality Assessment Models for Asymmetric Encoded Videos [51.44042801857041]
本報告では、非対称符号化ビデオの画質評価に関するQoMEX 2026グランドチャレンジに対する解決策について述べる。
フル参照(FR)モデル、圧縮VQA-AEV-FR、非参照(NR)モデル、圧縮VQA-AEV-NRから構成される。
NR設定では、SigLIP2とSwin-Bに基づく補完的なフレームレベルエンコーダを使用し、その後、時間平均プーリングとクロスフォールドアンサンブルを用いて、参照データなしで知覚品質を推定する。
論文 参考訳(メタデータ) (2026-07-06T02:23:39Z) - Towards Generalized Video Quality Assessment: A Weak-to-Strong Learning Paradigm [76.63001244080313]
映像品質評価(VQA)は、人間の視覚的知覚に合わせて映像の知覚的品質を予測することを目的としている。
支配的なVQAパラダイムは、人間のラベル付きデータセットによる教師付きトレーニングに依存している。
我々は、大規模な人ラベルデータセットに頼らずにVQAを進めるための新しいパラダイムとして、弱い対強学習(W2S)を探求する。
論文 参考訳(メタデータ) (2025-05-06T15:29:32Z) - ReLaX-VQA: Residual Fragment and Layer Stack Extraction for Enhancing Video Quality Assessment [35.00766551093652]
ReLaX-VQAは、NRVQA(No-Reference Video Quality Assessment)モデルである。
これは、オリジナルの圧縮されていないビデオに言及することなく、多様なビデオコンテンツの品質を評価するという課題に対処することを目的としている。
NR-VQA法を一貫して上回り、平均Sスコアは0.8658、PLCCは0.8873である。
論文 参考訳(メタデータ) (2024-07-16T08:33:55Z) - Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models [71.06007696593704]
BVQA(Blind Quality Assessment)は、実世界のビデオ対応メディアアプリケーションにおけるエンドユーザの視聴体験の監視と改善に不可欠である。
実験分野として、BVQAモデルの改良は、主に数個の人間の評価されたVQAデータセットに基づいて測定されている。
最小主義的BVQAモデルを用いて,VQAデータセットの第一種計算解析を行う。
論文 参考訳(メタデータ) (2023-07-26T06:38:33Z) - Neighbourhood Representative Sampling for Efficient End-to-end Video
Quality Assessment [60.57703721744873]
リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す
そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。
フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
論文 参考訳(メタデータ) (2022-10-11T11:38:07Z) - A Deep Learning based No-reference Quality Assessment Model for UGC
Videos [44.00578772367465]
従来のビデオ品質評価(VQA)研究では、画像認識モデルまたは画像品質評価(IQA)モデルを使用して、品質回帰のためのビデオのフレームレベルの特徴を抽出している。
ビデオフレームの生画素から高品質な空間特徴表現を学習するために,エンドツーエンドの空間特徴抽出ネットワークを訓練する,非常に単純で効果的なVQAモデルを提案する。
より優れた品質認識機能により、単純な多層認識層(MLP)ネットワークのみを用いてチャンクレベルの品質スコアに回帰し、時間平均プーリング戦略を採用してビデオを得る。
論文 参考訳(メタデータ) (2022-04-29T12:45:21Z) - UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated
Content [59.13821614689478]
コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。
ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。
先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。
我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2020-05-29T00:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。