論文の概要: GazeOnce360: Fisheye-Based 360° Multi-Person Gaze Estimation with Global-Local Feature Fusion
- arxiv url: http://arxiv.org/abs/2603.17161v1
- Date: Tue, 17 Mar 2026 21:46:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.407464
- Title: GazeOnce360: Fisheye-Based 360° Multi-Person Gaze Estimation with Global-Local Feature Fusion
- Title(参考訳): GazeOnce360:Global-Local Feature Fusionによる魚眼型360°マルチパーソン・ゲイズ推定
- Authors: Zhuojiang Cai, Zhenghui Sun, Feng Lu,
- Abstract要約: 本稿では,1台のテーブルトップ搭載魚眼カメラから複数対人視線推定のための新しいエンドツーエンドモデルGazeOnce360を提案する。
本モデルでは, 魚眼画像に内在する歪みや視線の変化を, 回転的畳み込みと目印監督を取り入れることで対処する。
この研究は、実際の多人数シナリオにおける魚眼による360度視線推定の可能性と可能性を強調した。
- 参考スコア(独自算出の注目度): 10.694557991281549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present GazeOnce360, a novel end-to-end model for multi-person gaze estimation from a single tabletop-mounted upward-facing fisheye camera. Unlike conventional approaches that rely on forward-facing cameras in constrained viewpoints, we address the underexplored setting of estimating the 3D gaze direction of multiple people distributed across a 360° scene from an upward fisheye perspective. To support research in this setting, we introduce MPSGaze360, a large-scale synthetic dataset rendered using Unreal Engine, featuring diverse multi-person configurations with accurate 3D gaze and eye landmark annotations. Our model tackles the severe distortion and perspective variation inherent in fisheye imagery by incorporating rotational convolutions and eye landmark supervision. To better capture fine-grained eye features crucial for gaze estimation, we propose a dual-resolution architecture that fuses global low-resolution context with high-resolution local eye regions. Experimental results demonstrate the effectiveness of each component in our model. This work highlights the feasibility and potential of fisheye-based 360° gaze estimation in practical multi-person scenarios. Project page: https://caizhuojiang.github.io/GazeOnce360/.
- Abstract(参考訳): 本稿では,一台の上面魚眼カメラを用いた複数対人視線推定のための新しいエンドツーエンドモデルGazeOnce360を提案する。
制約された視点で前方カメラに頼っている従来のアプローチとは異なり、上向きの魚眼から360度に分布する複数の人の3次元視線方向を推定するという、未解明の設定に対処する。
この環境での研究を支援するために,Unreal Engineを用いた大規模合成データセットMPSGaze360を導入する。
本モデルでは, 魚眼画像に内在する歪みや視線の変化を, 回転的畳み込みと目印監督を取り入れることで対処する。
視線推定に欠かせない細粒度の目の特徴を捉えるために,高解像度局所眼球領域とグローバル低解像度コンテキストを融合させる2重分解能アーキテクチャを提案する。
実験により,本モデルにおける各成分の有効性が示された。
この研究は、実際の多人数シナリオにおける魚眼による360度視線推定の可能性と可能性を強調した。
プロジェクトページ: https://caizhuojiang.github.io/GazeOnce360/
関連論文リスト
- Pano360: Perspective to Panoramic Vision with Geometric Consistency [7.713672589538202]
我々は新しいトランスフォーマーベースのアーキテクチャを採用し、すべての視点で3D認識とグローバル情報を集約する。
評価ベンチマークを確立し,ネットワークをトレーニングするために,実世界のシーンの大規模データセットを構築した。
論文 参考訳(メタデータ) (2026-03-12T14:56:14Z) - OMEGA-Avatar: One-shot Modeling of 360° Gaussian Avatars [54.688420347927725]
OMEGA-Avatarは、単一の画像から一般化可能で360度完全でアニマブルな3Dガウスヘッドを同時に生成する最初のフレームワークである。
OMEGA-Avatarは最先端の性能を達成し,360度フルヘッド完全性において既存のベースラインを著しく上回っていることを示す。
論文 参考訳(メタデータ) (2026-02-12T08:16:38Z) - ViewMorpher3D: A 3D-aware Diffusion Framework for Multi-Camera Novel View Synthesis in Autonomous Driving [20.935790354765604]
画像拡散モデルに基づく多視点画像拡張フレームワークであるViewMorpher3Dを紹介する。
シングルビューのアプローチとは異なり、ViewMorpher3Dはカメラのポーズに条件付けされた一連のレンダリングビュー、幾何学的先行3D、時間的に隣接または空間的に重複する参照ビューを共同で処理する。
我々のフレームワークは、様々なカメラとフレキシブルな参照/ターゲットビュー構成に対応しており、多様なセンサー設定に適応できる。
論文 参考訳(メタデータ) (2026-01-12T13:44:14Z) - PFDepth: Heterogeneous Pinhole-Fisheye Joint Depth Estimation via Distortion-aware Gaussian-Splatted Volumetric Fusion [61.6340987158734]
ヘテロジニアス多視点深度推定のための最初のピンホール・フィッシュアイ・フレームワークPFDepthを提案する。
PFDepthは、ピンホールと魚眼カメラの任意の組み合わせを、様々な内在と外生とで処理できる統一アーキテクチャを採用している。
我々は,現在の主流深度ネットワーク上でのKITTI-360およびRealHetデータセットに対して,PFDepthが最先端の性能を示すことを示す。
論文 参考訳(メタデータ) (2025-09-30T09:38:59Z) - PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion [87.13016347332943]
PanoWorld-Xは、多彩なカメラ軌道を持つ高忠実で制御可能なパノラマビデオ生成のための新しいフレームワークである。
動作範囲,制御精度,視覚的品質など,様々な面で優れた性能を示す実験を行った。
論文 参考訳(メタデータ) (2025-09-29T16:22:00Z) - Seam360GS: Seamless 360° Gaussian Splatting from Real-World Omnidirectional Images [22.213607618728705]
両眼カメラモデルを3次元ガウススプラッティングパイプラインに組み込んだ新しいキャリブレーションフレームワークを提案する。
我々のアプローチは、双眼カメラが生み出す現実的な視覚的アーティファクトをシミュレートするだけでなく、シームレスに描画された360度画像の合成を可能にする。
論文 参考訳(メタデータ) (2025-08-27T17:46:46Z) - 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from
Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。
視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。
本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文 参考訳(メタデータ) (2022-12-06T14:15:17Z) - BiFuse++: Self-supervised and Efficient Bi-projection Fusion for 360
Depth Estimation [59.11106101006008]
両射影融合と自己学習シナリオの組み合わせを検討するために,BiFuse++を提案する。
そこで我々は,BiFuseの性能向上のために,新たな融合モジュールとコントラスト対応測光損失を提案する。
論文 参考訳(メタデータ) (2022-09-07T06:24:21Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-04-07T17:58:47Z) - 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation [15.65828728205071]
360degデータでは 単分子深度推定は 依然として課題です
現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。
タンジェント画像を用いた高解像度360deg画像からの単眼深度推定のためのフレキシブルなフレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-30T18:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。