論文の概要: MAC-Gaze: Motion-Aware Continual Calibration for Mobile Gaze Tracking

• arxiv url: http://arxiv.org/abs/2505.22769v3
• Date: Thu, 05 Jun 2025 16:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 14:14:43.119806
• Title: MAC-Gaze: Motion-Aware Continual Calibration for Mobile Gaze Tracking
• Title（参考訳）: MAC-Gaze: 移動注視追跡のための動き認識連続校正
• Authors: Yaxiong Lei, Mingyue Zhao, Yuheng Wang, Shijing He, Yusuke Sugano, Mohamed Khamis, Juan Ye,
• Abstract要約: モバイルの視線追跡は基本的な課題に直面している。 本稿では,スマートフォン慣性計測ユニット(IMU)センサと連続学習技術を活用した動き認識型連続学習手法MAC-Gazeを提案する。 本システムでは、事前学習した視線推定器と、IMUに基づく活動認識モデルと、クラスタリングに基づくハイブリッド意思決定機構を統合した。
• 参考スコア（独自算出の注目度）: 19.082459585817716
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mobile gaze tracking faces a fundamental challenge: maintaining accuracy as users naturally change their postures and device orientations. Traditional calibration approaches, like one-off, fail to adapt to these dynamic conditions, leading to degraded performance over time. We present MAC-Gaze, a Motion-Aware continual Calibration approach that leverages smartphone Inertial measurement unit (IMU) sensors and continual learning techniques to automatically detect changes in user motion states and update the gaze tracking model accordingly. Our system integrates a pre-trained visual gaze estimator and an IMU-based activity recognition model with a clustering-based hybrid decision-making mechanism that triggers recalibration when motion patterns deviate significantly from previously encountered states. To enable accumulative learning of new motion conditions while mitigating catastrophic forgetting, we employ replay-based continual learning, allowing the model to maintain performance across previously encountered motion conditions. We evaluate our system through extensive experiments on the publicly available RGBDGaze dataset and our own 10-hour multimodal MotionGaze dataset (481K+ images, 800K+ IMU readings), encompassing a wide range of postures under various motion conditions including sitting, standing, lying, and walking. Results demonstrate that our method reduces gaze estimation error by 19.9% on RGBDGaze (from 1.73 cm to 1.41 cm) and by 31.7% on MotionGaze (from 2.81 cm to 1.92 cm) compared to traditional calibration approaches. Our framework provides a robust solution for maintaining gaze estimation accuracy in mobile scenarios.
• Abstract（参考訳）: モバイルの視線追跡は基本的な課題に直面している。 従来のキャリブレーションアプローチは、例えばワンオフのように、これらの動的条件に適応できないため、時間の経過とともにパフォーマンスが低下する。 スマートフォン慣性計測ユニット(IMU)センサと連続学習技術を利用して、ユーザの動作状態の変化を自動的に検出し、それに応じて視線追跡モデルを更新する動き認識型連続校正手法MAC-Gazeを提案する。 本システムでは、事前学習した視線推定器とIMUに基づく活動認識モデルと、以前に遭遇した状態からかなりずれた動きパターンの補正をトリガーするクラスタリングに基づくハイブリッド意思決定機構を統合した。 破滅的な忘れを軽減しつつ,新たな動作条件の累積学習を可能にするために,我々はリプレイベース連続学習を採用し,これまでに遭遇した動作条件をまたいだモデルの性能維持を可能にする。 我々は,RGBDGazeデータセットとその10時間のマルチモーダルなMotionGazeデータセット(481K+画像,800K+IMU読解)に関する広範囲な実験を行い,座位,立位,横転,歩行などのさまざまな動作条件下での姿勢について検討した。 その結果,RGBDGazeでは19.9%,MotionGazeでは31.7%,従来のキャリブレーション法では2.81 cmから1.92 cmまで,視線推定誤差は19.9%減少した。 我々のフレームワークは、モバイルシナリオにおける視線推定精度を維持するための堅牢なソリューションを提供する。

関連論文リスト

• Quantifying the Impact of Motion on 2D Gaze Estimation in Real-World Mobile Interactions [18.294511216241805]
  本稿では,ユーザの移動度と行動がモバイル視線追跡精度に与える影響を実証的に示す。 頭部距離、頭部ポーズ、装置の向きは、正確性に影響を与える重要な要因である。 発見は、より堅牢で適応的な視線追跡システムの必要性を強調している。
  論文  参考訳（メタデータ） (2025-02-14T21:44:52Z)
• Event-Based Tracking Any Point with Motion-Augmented Temporal Consistency [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 出来事の空間的空間性や動きの感度によって引き起こされる課題に対処する。 競合モデルパラメータによる処理を150%高速化する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)
• MotionHint: Self-Supervised Monocular Visual Odometry with Motion Constraints [70.76761166614511]
  モノクローナルビジュアル・オドメトリー(VO)のための新しい自己教師型アルゴリズムMotionHintを提案する。 我々のMotionHintアルゴリズムは、既存のオープンソースSSM-VOシステムに容易に適用できる。
  論文  参考訳（メタデータ） (2021-09-14T15:35:08Z)
• Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
  我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。 我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。 我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
  論文  参考訳（メタデータ） (2020-04-07T17:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。