論文の概要: EyeSeg: An Uncertainty-Aware Eye Segmentation Framework for AR/VR
- arxiv url: http://arxiv.org/abs/2507.09649v1
- Date: Sun, 13 Jul 2025 14:33:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:23.669037
- Title: EyeSeg: An Uncertainty-Aware Eye Segmentation Framework for AR/VR
- Title（参考訳）: EyeSeg:AR/VRのための不確実なアイセグメンテーションフレームワーク
- Authors: Zhengyuan Peng, Jianqing Xu, Shen Li, Jiazhen Ji, Yuge Huang, Jingyun Zhang, Jinmin Li, Shouhong Ding, Rizen Guo, Xin Tan, Lizhuang Ma,
- Abstract要約: EyeSegは拡張現実(AR)と仮想現実(VR)のための不確実性を認識したアイセグメンテーションフレームワーク
我々は,従来のアプローチを超越したMIoU,E1,F1,ACCのセグメンテーション改善を実現していることを示す。
- 参考スコア（独自算出の注目度）: 58.33693755009173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-machine interaction through augmented reality (AR) and virtual reality (VR) is increasingly prevalent, requiring accurate and efficient gaze estimation which hinges on the accuracy of eye segmentation to enable smooth user experiences. We introduce EyeSeg, a novel eye segmentation framework designed to overcome key challenges that existing approaches struggle with: motion blur, eyelid occlusion, and train-test domain gaps. In these situations, existing models struggle to extract robust features, leading to suboptimal performance. Noting that these challenges can be generally quantified by uncertainty, we design EyeSeg as an uncertainty-aware eye segmentation framework for AR/VR wherein we explicitly model the uncertainties by performing Bayesian uncertainty learning of a posterior under the closed set prior. Theoretically, we prove that a statistic of the learned posterior indicates segmentation uncertainty levels and empirically outperforms existing methods in downstream tasks, such as gaze estimation. EyeSeg outputs an uncertainty score and the segmentation result, weighting and fusing multiple gaze estimates for robustness, which proves to be effective especially under motion blur, eyelid occlusion and cross-domain challenges. Moreover, empirical results suggest that EyeSeg achieves segmentation improvements of MIoU, E1, F1, and ACC surpassing previous approaches. The code is publicly available at https://github.com/JethroPeng/EyeSeg.
- Abstract（参考訳）: 拡張現実(AR)とバーチャルリアリティ(VR)による人間と機械の相互作用はますます広まり、スムーズなユーザー体験を実現するために、目のセグメンテーションの精度に依存する正確で効率的な視線推定が必要である。
私たちはEyeSegという新しいアイセグメンテーションフレームワークを紹介します。これは、既存のアプローチが抱える主要な課題、つまり、動きのぼやけ、アイライド・オクルージョン、およびトレイン-テストのドメインギャップを克服するために設計されたものです。
このような状況下では、既存のモデルはロバストな特徴を引き出すのに苦労し、最適以下のパフォーマンスをもたらす。
これらの課題が一般に不確実性によって定量化可能であることに注目し、我々はEyeSegをAR/VRのための不確実性対応アイセグメンテーションフレームワークとして設計する。
理論的には、学習後の統計学がセグメント化の不確実性レベルを示し、視線推定などの下流タスクにおける既存の手法を実証的に上回っていることを証明している。
EyeSegは不確実性スコアとセグメンテーション結果を出力し、複数の視線推定値の重み付けと融合を行い、特に動きのぼやけ、眼球閉塞、ドメイン横断の課題において有効であることが証明される。
さらに,EyeSegは従来のアプローチを超越したMIoU,E1,F1,ACCのセグメンテーション改善を実現している。
コードはhttps://github.com/JethroPeng/EyeSeg.comで公開されている。
関連論文リスト
- Trade-offs in Privacy-Preserving Eye Tracking through Iris Obfuscation: A Benchmarking Study [44.44776028287441]
ユーザアイデンティティを難読化するために,ボーリング,ノイズアップ,ダウンサンプリング,ゴムシートモデル,アイリススタイルの転送をベンチマークした。
実験の結果,曖昧化やノイズ化といった標準的な画像処理手法が,ディープラーニングに基づくタスクに限界的影響を与えることがわかった。
ダウンサンプリング,ゴムシートモデル,アイリススタイル転送は,ユーザ識別子の隠蔽に有効であるが,アイリススタイル転送は高い計算コストで,両ユーティリティタスクにおいて他よりも優れている。
論文 参考訳（メタデータ） (2025-04-14T14:29:38Z) - Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。
RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。
オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
論文 参考訳（メタデータ） (2025-04-03T17:59:56Z) - Rethinking Edge Detection through Perceptual Asymmetry: The SWBCE Loss [0.0]
本稿では,Symmetrization Weighted Binary Cross-Entropy (SWBCE)ロス関数を提案する。
ラベル誘導学習と予測誘導学習のバランスをとることで、SWBCEは偽陽性を効果的に抑制しつつ高いエッジリコールを維持する。
これらの結果は、高品質エッジ予測におけるSWBCEの有効性と、関連する視覚タスクへの適用可能性を示している。
論文 参考訳（メタデータ） (2025-01-23T04:10:31Z) - Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。
本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。
本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
論文 参考訳（メタデータ） (2024-11-28T13:04:45Z) - Predictive Uncertainty Quantification for Bird's Eye View Segmentation: A Benchmark and Novel Loss Function [10.193504550494486]
本稿では,Bird's Eye View (BEV)セグメンテーションにおける予測不確実性定量化のためのベンチマークを提案する。
本研究は,非分類および非分布画素の検出における定量化不確実性の有効性に焦点をあてる。
本研究では,不均衡なデータに特化して設計された新しい損失関数Uncertainty-Focal-Cross-Entropy (UFCE)を提案する。
論文 参考訳（メタデータ） (2024-05-31T16:32:46Z) - Neighbor-Aware Calibration of Segmentation Networks with Penalty-Based
Constraints [19.897181782914437]
本稿では,ロジット値の等式制約に基づく基本的かつ単純な解を提案し,強制制約と罰則の重みを明示的に制御する。
我々のアプローチは、広範囲のディープセグメンテーションネットワークのトレーニングに利用できる。
論文 参考訳（メタデータ） (2024-01-25T19:46:57Z) - SCL-VI: Self-supervised Context Learning for Visual Inspection of
Industrial Defects [4.487908181569429]
本稿では,有名なジグソーパズルに取り組むことで,最適なエンコーダを導出する自己教師型学習アルゴリズムを提案する。
提案手法では, 対象画像を9つのパッチに分割し, エンコーダに2つのパッチ間の相対的な位置関係を予測して, リッチなセマンティクスを抽出する。
論文 参考訳（メタデータ） (2023-11-11T08:01:40Z) - Improving Vision Anomaly Detection with the Guidance of Language
Modality [64.53005837237754]
本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。
本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。
視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
論文 参考訳（メタデータ） (2023-10-04T13:44:56Z) - Bayesian Eye Tracking [63.21413628808946]
モデルに基づく視線追跡は、目の特徴検出エラーの影響を受けやすい。
モデルベースアイトラッキングのためのベイズフレームワークを提案する。
提案手法は,最先端のモデルベースおよび学習ベースの手法と比較して,一般化能力の大幅な向上を示す。
論文 参考訳（メタデータ） (2021-06-25T02:08:03Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳（メタデータ） (2021-05-23T01:50:44Z) - Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。
本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。
視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
論文 参考訳（メタデータ） (2020-07-26T12:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。