論文の概要: Adaptive Score Alignment Learning for Continual Perceptual Quality Assessment of 360-Degree Videos in Virtual Reality

• arxiv url: http://arxiv.org/abs/2502.19644v1
• Date: Thu, 27 Feb 2025 00:29:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:57:54.004321
• Title: Adaptive Score Alignment Learning for Continual Perceptual Quality Assessment of 360-Degree Videos in Virtual Reality
• Title（参考訳）: バーチャルリアリティにおける360度映像の連続的知覚品質評価のための適応スコアアライメント学習
• Authors: Kanglei Zhou, Zikai Hao, Liyuan Wang, Xiaohui Liang,
• Abstract要約: 適応スコアアライメント学習(ASAL:Adaptive Score Alignment Learning)という,VRビデオの知覚品質を評価する新しい手法を提案する。 ASALは相関損失と誤り損失を統合し、人間の主観的評価と知覚品質の予測精度を高める。 我々はVR-VQAとそのCLのための総合的なベンチマークを確立し、新しいデータ分割と評価指標を導入しました。
• 参考スコア（独自算出の注目度）: 20.511561848185444
• License:
• Abstract: Virtual Reality Video Quality Assessment (VR-VQA) aims to evaluate the perceptual quality of 360-degree videos, which is crucial for ensuring a distortion-free user experience. Traditional VR-VQA methods trained on static datasets with limited distortion diversity struggle to balance correlation and precision. This becomes particularly critical when generalizing to diverse VR content and continually adapting to dynamic and evolving video distribution variations. To address these challenges, we propose a novel approach for assessing the perceptual quality of VR videos, Adaptive Score Alignment Learning (ASAL). ASAL integrates correlation loss with error loss to enhance alignment with human subjective ratings and precision in predicting perceptual quality. In particular, ASAL can naturally adapt to continually changing distributions through a feature space smoothing process that enhances generalization to unseen content. To further improve continual adaptation to dynamic VR environments, we extend ASAL with adaptive memory replay as a novel Continul Learning (CL) framework. Unlike traditional CL models, ASAL utilizes key frame extraction and feature adaptation to address the unique challenges of non-stationary variations with both the computation and storage restrictions of VR devices. We establish a comprehensive benchmark for VR-VQA and its CL counterpart, introducing new data splits and evaluation metrics. Our experiments demonstrate that ASAL outperforms recent strong baseline models, achieving overall correlation gains of up to 4.78\% in the static joint training setting and 12.19\% in the dynamic CL setting on various datasets. This validates the effectiveness of ASAL in addressing the inherent challenges of VR-VQA.Our code is available at https://github.com/ZhouKanglei/ASAL_CVQA.
• Abstract（参考訳）: VR-VQA(Virtual Reality Video Quality Assessment)は、360度ビデオの知覚的品質を評価することを目的としている。 歪みの多様性に制限のある静的データセット上でトレーニングされた従来のVR-VQA手法は、相関と精度のバランスをとるのに苦労する。 これは、多様なVRコンテンツに一般化し、ダイナミックで進化するビデオ配信のバリエーションに継続的に適応する場合、特に重要になる。 これらの課題に対処するため、我々はVRビデオの知覚品質を評価するための新しいアプローチ、適応スコアアライメント学習(ASAL)を提案する。 ASALは相関損失と誤り損失を統合し、人間の主観的評価と知覚品質の予測精度を高める。 特に、ASALは、目に見えないコンテンツへの一般化を促進する特徴空間の平滑化プロセスを通じて、継続的に変化する分布に自然に適応することができる。 動的VR環境への継続的な適応をさらに改善するため,ASALを適応型メモリリプレイで拡張し,新しいCL(Continual Learning)フレームワークを開発した。 従来のCLモデルとは異なり、ASALはキーフレーム抽出と特徴適応を利用して、VRデバイスの計算とストレージの制限による非定常的なバリエーションのユニークな課題に対処する。 我々はVR-VQAとそのCLのための総合的なベンチマークを確立し、新しいデータ分割と評価指標を導入しました。 実験の結果、ASALは最近の強力なベースラインモデルより優れており、静的関節トレーニング設定では最大4.78 %、各種データセットでは動的CL設定では最大12.19 %の相関が得られた。 当社のコードはhttps://github.com/ZhouKanglei/ASAL_CVQAで公開されている。

関連論文リスト

• DiVR: incorporating context from diverse VR scenes for human trajectory prediction [2.16656895298847]
  本稿では,Perceiver アーキテクチャに基づくクロスモーダルトランスフォーマである DiVR (Diverse Context VR Human Motion Prediction) を提案する。 その結果、DVRは他のモデルや静的グラフと比較して精度と適応性が高いことがわかった。 ソースコードはhttps://gitlab.inria.fr/ffrancog/creattive3d-divr-modelで公開されています。
  論文  参考訳（メタデータ） (2024-11-13T07:55:41Z)
• Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
  フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。 本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T20:16:56Z)
• Sensitivity-Informed Augmentation for Robust Segmentation [21.609070498399863]
  カメラ品質の変動やレンズ歪みなどの内部ノイズはセグメンテーションモデルの性能に影響を与える可能性がある。 我々は,学習ベースセグメンテーションモデルの堅牢性を高めるために,効率的で適応性があり,勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:25:45Z)
• Self-Avatar Animation in Virtual Reality: Impact of Motion Signals Artifacts on the Full-Body Pose Reconstruction [13.422686350235615]
  本研究の目的は,自己アバターのフルボディポーズの再現に対する影響を計測することである。 テキストYOLOv8のポーズ推定から推定した3次元動画像と3次元動画像座標を用いて動画像再構成誤差を解析する。
  論文  参考訳（メタデータ） (2024-04-29T12:02:06Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Perceptual Quality Assessment of Virtual Reality Videos in the Wild [53.94620993606658]
  既存のパノラマビデオデータベースでは、合成歪みのみを考慮し、一定の視聴条件を仮定し、サイズに制限がある。 我々はVRVQW(VR Video Quality in the Wild)データベースを構築した。 我々は,2つの異なる視聴条件下で,139ドルの被験者から,スキャンパスと品質スコアを記録するための正式な心理物理実験を行った。
  論文  参考訳（メタデータ） (2022-06-13T02:22:57Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning [76.46530937296066]
  本稿では,無線モバイルユーザに対して,超信頼性でエネルギー効率のよいバーチャルリアリティ(VR)体験を提供するという課題について検討する。 モバイルユーザへの信頼性の高い超高精細ビデオフレーム配信を実現するために,コーディネートマルチポイント(CoMP)伝送技術とミリ波(mmWave)通信を利用する。
  論文  参考訳（メタデータ） (2021-06-03T08:35:10Z)
• Meta-Reinforcement Learning for Reliable Communication in THz/VLC Wireless VR Networks [157.42035777757292]
  屋内テラヘルツ(THz)/可視光通信(VLC)無線ネットワークにおいて,仮想現実(VR)サービスの品質向上の問題について検討した。 小型基地局(sbss)は高品質のvr画像をthzバンド経由でvrユーザーに送信し、発光ダイオード(led)は正確な屋内測位サービスを提供する。 研究したTHz/VLC無線VRネットワークのエネルギー消費を制御するには、VLCアクセスポイント(VAP)を選択的にオンにする必要がある。
  論文  参考訳（メタデータ） (2021-01-29T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。