論文の概要: Through Human Eyes and Machine Eyes: Understanding View Mismatch in Video See-Through Extended Reality
- arxiv url: http://arxiv.org/abs/2609.29173v1
- Date: Thu, 24 Sep 2026 07:44:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.778016
- Title: Through Human Eyes and Machine Eyes: Understanding View Mismatch in Video See-Through Extended Reality
- Title（参考訳）: 人間の目と機械の目を通して:ビデオシースルー拡張現実における視線ミスマッチを理解する
- Abstract要約: ビデオシースルー拡張現実(VST XR)システムは、通常、ヘッドセットのスクリーンショットまたはキャプチャフレームをユーザーの1対1の視覚的コンテキストのプロキシとして使用する。
本稿では,VST XRにおけるヒューマン・システム・ビューのミスマッチについて検討する。
我々の結果は、ビューミスマッチは幾何学的なアーティファクトであるだけでなく、AI統合VST XRシステムに対するセキュリティ、プライバシ、信頼性の懸念も導入できることを示している。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video see-through extended reality (VST XR) systems commonly use headset screenshots or captured frames as proxies for the user's first-person visual context. However, the system-captured view and the user's effective visible field do not necessarily coincide: a screenshot records a rectangular machine-readable frame, whereas the user's effective visible region can be more constrained and non-rectangular. This paper studies this human-system view mismatch in VST XR. We formalize the relationship between the system-captured region and the human-visible region by defining their co-visible, system-only, and human-only regions. \rev{We then conduct a pilot-level boundary measurement on Meta Quest 3, revealing a clear mismatch between the rectangular screenshot frame and the approximate human-visible boundary. Building on this model, we analyze how view mismatch can affect screenshot-based XR sensing and downstream vision-language model tasks. Through four representative case studies, we illustrate potential risks and failure modes including prompt injection, privacy leakage, human-invisible information bias, and missing human-visible information. Our results show that view mismatch is not only a geometric artifact, but can also introduce security, privacy, and reliability concerns for AI-integrated VST XR systems.
- Abstract（参考訳）: ビデオシースルー拡張現実(VST XR)システムは、通常、ヘッドセットのスクリーンショットまたはキャプチャフレームをユーザーの1対1の視覚的コンテキストのプロキシとして使用する。
しかし、システムキャプチャされたビューとユーザの有効可視界は必ずしも一致しない:スクリーンショットは長方形の機械可読フレームを記録し、ユーザの有効可視領域はより制約があり、矩形ではない。
本稿では,VST XRにおけるヒューマン・システム・ビューのミスマッチについて検討する。
システムのみ、システムのみ、および人間のみの領域を定義することにより、システムキャプチャーされた領域と人間の視覚的領域の関係を定式化する。
その後、Meta Quest 3上でパイロットレベルの境界測定を行い、長方形のスクリーンショットフレームと近似した人間の視界の境界との明確なミスマッチを明らかにします。
このモデルに基づいて、ビューミスマッチがスクリーンショットベースのXRセンシングおよび下流視覚言語モデルタスクにどのように影響するかを分析する。
代表的な4つのケーススタディを通じて、インジェクション、プライバシー漏洩、人間の目に見えない情報バイアス、人間の目に見えない情報など、潜在的なリスクと障害モードについて説明する。
我々の結果は、ビューミスマッチは幾何学的なアーティファクトであるだけでなく、AI統合VST XRシステムに対するセキュリティ、プライバシ、信頼性の懸念も導入できることを示している。
関連論文リスト
- When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
論文 参考訳（メタデータ） (2026-09-03T03:58:56Z) - Visual Geometry Transformer in the Wild: Distractor-Free 3D Reconstruction [77.75911117889915]
現在のエンドツーエンドのマルチビュー3D再構成手法は、目覚ましい結果を得るが、制限的な静的仮定に依存している。
この理想的な入力への依存は、最も高度なメソッドでさえ、現実世界の設定で失敗する原因となる。
非一貫性の視点から頑健な再構築を行うためのエンドツーエンドフレームワークであるWildにおけるビジュアルジオメトリトランスフォーマーを提案する。
論文 参考訳（メタデータ） (2026-06-22T02:52:22Z) - ExposeAnyone: Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors [58.45131932883374]
ビデオ中のディープフェイクを検出するための完全自己教師型アプローチを提案する。
本モデルでは,拡散再構成誤差を用いて,疑わしい映像とパーソナライズされた被写体との同一性距離を算出する。
本手法は, ボケや圧縮などの汚損に対して極めて堅牢であり, 現実の顔偽造検出への適用性を強調している。
論文 参考訳（メタデータ） (2026-01-05T18:59:54Z) - Predicting upcoming visual features during eye movements yields scene representations aligned with human visual cortex [36.94429692322632]
我々はGlimpse Prediction Networks (GPNs) を訓練し、人間のようなスキャンパスを自然の風景に埋め込むことを予測した。
GPNは共起構造を学習し、相対的なササード位置ベクトルを与えると空間配置に対する感度を示す。
これらの結果は、生物学的に妥当で自己管理された脳のシーン表現への経路として、能動視覚下での次の滑稽な予測を確立している。
論文 参考訳（メタデータ） (2025-11-16T17:59:13Z) - Evaluation of Vision-LLMs in Surveillance Video [8.750453732584491]
本稿では視覚言語モデル(VLM)の空間的推論について検討する。
これは、スパース2Dビデオからダイナミックな3Dシーンを解釈する、具体的認識課題に対処する。
UCF-Crime と RWF-2000 の4つのオープンモデルについて,プロンプトおよびプライバシ保護条件下で評価した。
論文 参考訳（メタデータ） (2025-10-27T10:27:02Z) - Identification of Fine-grained Systematic Errors via Controlled Scene Generation [41.398080398462994]
微粒化制御によるリアルな合成シーンを生成するパイプラインを提案する。
我々のアプローチであるBEV2EGOは、道路コンテンツ制御によるシーン全体の現実的な生成を可能にする。
さらに,BEV2EGOの最適生成出力モデルを選択するために,制御シーン生成のためのベンチマークを提案する。
論文 参考訳（メタデータ） (2024-04-10T14:35:22Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - FoV-Net: Field-of-View Extrapolation Using Self-Attention and
Uncertainty [95.11806655550315]
我々は、視野の狭いビデオシーケンスからの情報を利用して、視野の広いシーンでシーンを推測する。
本稿では、時間的に一貫した視野外補間フレームワークFoV-Netを提案する。
実験によると、FoV-Netは、時間的に一貫した視野のシーンを、既存の代替手段よりもうまく外挿している。
論文 参考訳（メタデータ） (2022-04-04T06:24:03Z) - ST-HOI: A Spatial-Temporal Baseline for Human-Object Interaction
Detection in Videos [91.29436920371003]
時空間HoI検出(ST-HOI)という,シンプルで効果的なアーキテクチャを提案する。
我々は、人や物体の軌跡、正しく位置付けられた視覚的特徴、空間的マスキングのポーズ特徴などの時間的情報を利用する。
我々は、VidHOIと呼ばれる新しいビデオHOIベンチマークを構築し、提案手法は安定したベースラインとして機能する。
論文 参考訳（メタデータ） (2021-05-25T07:54:35Z) - Can Your Face Detector Do Anti-spoofing? Face Presentation Attack
Detection with a Multi-Channel Face Detector [7.665392786787577]
我々は,顔検出装置のタスクを再編成し,実際の顔を検出することにより,提示攻撃の脅威を排除した。
提案システムは,個別の提示攻撃検出モジュールの必要性を回避した実顔検出システムとして利用することができる。
提案手法の有効性を示すため,様々な攻撃を含むマルチチャネルWMCAデータセットのアプローチを評価した。
論文 参考訳（メタデータ） (2020-06-30T14:22:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。