論文の概要: Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality

• arxiv url: http://arxiv.org/abs/2610.00677v1
• Date: Wed, 30 Sep 2026 20:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.754724
• Title: Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality
• Title（参考訳）: 拡張現実における知覚的品質評価と自律的コンテンツ調整のためのハラスティング視覚言語モデル
• Abstract要約: 我々は、さまざまなシーンや環境条件で収集されたAR画像とビデオのベンチマークであるRateARを紹介する。 次に,11種類の商用ビジョン言語モデル (VLM) をクラフトベンチマークで評価した。 その結果、VLMに基づく品質予測は人間の主観的判断と強く相関していることがわかった。
• 参考スコア（独自算出の注目度）: 7.375518388534098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advancements in augmented reality (AR) continue to foster innovative solutions, facilitating novel methodologies within educational systems, healthcare delivery, and risk-mitigation protocols. However, optimizing for end-user immersion and comfort remains challenging, as AR head-mounted displays contend with constrained scene geometry, spatial jitter, and temporal instability. User studies are the standard AR evaluation method for visual quality, but their cost, diminishing scalability, and inflexibility pose bottlenecks during iterative application design. To address this problem, we present an automated framework for AR content evaluation and refinement, built on vision-language models (VLMs), to evaluate and predict the visual fidelity of AR scenes as perceived by users. First, we introduce RateAR, a benchmark of AR images and videos collected across diverse scenes and environmental conditions, with good-to-excellent reliability (ICC(2,5) >= .90) across perceptual factors, including object placement, scale, and shadow consistency. Subsequently, we evaluate eleven commercial VLMs on the crafted benchmark. Results support that VLM-based quality predictions strongly correlate with human subjective judgments, achieving Spearman's rank-order correlations of up to 0.8695. An ablation study further suggests that, compared to other prompting strategies, our contextual prompting yields better alignment with human ratings while balancing introduced complexity cues. Building on these findings, we construct an automated AR content adjustment system and conduct a 21-participant user study. More than 90% of participants found that the system improved placement and size coherence of virtual content.
• Abstract（参考訳）: 拡張現実(AR)の進歩は、教育システムにおける新しい方法論、医療提供、リスク軽減プロトコルの促進など、革新的なソリューションを進化させ続けています。 しかし、ARヘッドマウントディスプレイは、制約されたシーン形状、空間ジッタ、時間的不安定と競合するため、エンドユーザの没入感と快適さを最適化することは依然として困難である。 ユーザスタディは、視覚的品質の標準的なAR評価手法であるが、コスト、スケーラビリティの低下、柔軟性の低下は、反復的なアプリケーション設計においてボトルネックを引き起こす。 この問題を解決するために,視覚言語モデル(VLM)上に構築されたARコンテンツ評価と改善のための自動フレームワークを提案し,ユーザによって認識されるARシーンの視覚的忠実度を評価し,予測する。 まず、さまざまなシーンや環境条件にまたがって収集されたAR画像とビデオのベンチマークであるRateARを紹介し、オブジェクトの配置、スケール、シャドウ一貫性を含む知覚的要因に対して優れた信頼性(ICC(2,5) >= .90)を提供する。 その後,11個の商用VLMをクラフトベンチマークで評価した。 その結果、VLMに基づく品質予測は人間の主観的判断と強く相関しており、Spearmanのランク順相関は最大0.8695である。 アブレーション研究は、他のプロンプト戦略と比較して、私たちの文脈的なプロンプトは、導入した複雑さのキューのバランスを保ちながら、人間のレーティングとの整合性を改善することを示唆している。 これらの結果に基づいて,自動ARコンテンツ調整システムを構築し,21名のユーザによる研究を行う。 参加者の90%以上が、仮想コンテンツの配置とサイズコヒーレンスを改善した。

関連論文リスト

• ARIQA-3DS: A Stereoscopic Image Quality Assessment Dataset for Realistic Augmented Reality [4.439002023615223]
  本稿では,ARIQA-3DSを用いた最初の大規模立体視画像品質評価データセットを提案する。 このデータセットは、現実世界のシーンの高解像度の立体オームニキャプチャーと、さまざまな拡張された前景を、透明度と劣化条件下で融合させる。 分析の結果,視力の低下は前景の劣化に起因し,透明度によって調節されるが,眼球運動と知覚の症状は観察中に進行するが,管理可能な増加を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-03T15:35:27Z)
• Perceptual Quality Optimization of Image Super-Resolution [31.948003749760105]
  シングルイメージ超解像(SR)は深層学習において顕著な進歩を遂げているが、ほとんどのアプローチは歪み指向の損失や知覚的先行に頼っている。 そこで本稿では,SRを人間の嗜好的品質に明示的に最適化する,テキスト有効知覚双方向注意ネットワーク(Efficient Perceptual Bi-directional Attention Network, EPBAN)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T01:17:24Z)
• Implicit Neural Representation-Based Continuous Single Image Super Resolution: An Empirical Study [50.15623093332659]
  入射神経表現(INR)は任意のスケール画像超解像(ASSR)の標準的アプローチとなっている 既存の手法を多様な設定で比較し、複数の画像品質指標に対して集計結果を示す。 トレーニング中, エッジ, テクスチャ, 細部を保存しながら, 強度変化をペナライズする新たな損失関数について検討した。
  論文  参考訳（メタデータ） (2026-01-25T07:09:20Z)
• PreResQ-R1: Towards Fine-Grained Rank-and-Score Reinforcement Learning for Visual Quality Assessment via Preference-Response Disentangled Policy Optimization [12.993619998545633]
  PreResQ-R1はPreference-Response Disentangled Reinforcement Learningフレームワークである。 1つの推論駆動最適化スキームにおいて絶対スコア回帰と相対ランク一貫性を統一する。 10 IQA と 5 VQA のベンチマークにおいて、SRCC と PLCC のメトリクスで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-11-07T16:19:50Z)
• Toward Safe, Trustworthy and Realistic Augmented Reality User Experience [0.0]
  我々の研究は、特に重要な情報を妨害したり、ユーザーの知覚を微妙に操作するタスク・デトリメンタルARコンテンツのリスクに対処する。 視覚言語モデル (VLM) とマルチモーダル推論モジュール (マルチモーダル推論モジュール) を用いて, それらの攻撃を検出する2つのシステム, ViDDAR と VIM-Sense を開発した。
  論文  参考訳（メタデータ） (2025-07-31T03:42:52Z)
• RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。 HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。 我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
  論文  参考訳（メタデータ） (2025-07-12T01:58:04Z)
• Enhancing Content Representation for AR Image Quality Assessment Using Knowledge Distillation [3.020452010930984]
  本稿では,拡張現実シナリオの画質評価に特化して設計された,深層学習に基づく客観的指標を提案する。 1)参照画像から顕著な特徴を抽出するための自己教師付き事前学習型視覚変換器の微調整,(2)計算シフト表現による歪みの定量化,(3)知覚品質の特徴を捉えるための横断的アテンションベースのデコーダの活用,(4)正規化技術の統合とラベルスムーズ化によるオーバーフィッティング問題への対処,の4つの重要なステップを含む。
  論文  参考訳（メタデータ） (2024-12-08T17:25:30Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Confusing Image Quality Assessment: Towards Better Augmented Reality Experience [96.29124666702566]
  我々はAR技術を仮想シーンと実シーンの重ね合わせとみなし、視覚的混乱を基本的な理論として紹介する。 ConFusing Image Quality Assessment (CFIQA)データベースが構築され、600個の参照画像と300個の歪画像とをペアに混合して生成する。 また、難解な画像品質をよりよく評価するために、CFIQAと呼ばれる客観的な計量も提案されている。
  論文  参考訳（メタデータ） (2022-04-11T07:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。