論文の概要: GazeAgent: VLM-Guided Implicit Gaze Calibration from Egocentric Multimodal Behavior for AI Glasses
- arxiv url: http://arxiv.org/abs/2610.24364v1
- Date: Sat, 17 Oct 2026 01:31:47 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:43:38.932821
- Title: GazeAgent: VLM-Guided Implicit Gaze Calibration from Egocentric Multimodal Behavior for AI Glasses
- Title(参考訳): GazeAgent:AIガラスのエゴセントリック多モード動作からのVLM誘導インプリシット・ゲイズ校正
- Abstract要約: GazeAgentは、ユーザがアクティビティを中断することなく視線校正精度を向上させるVLM誘導フレームワークである。
慣性計測ユニット(IMU)のマルチモーダルストリーム、視線、着用者手信号から正確な視覚的注意イベントを特定する。
機能ターゲットを擬似校正ターゲットとしてローカライズする。
- 参考スコア(独自算出の注目度): 8.517664694754128
- License:
- Abstract: AI glasses typically require explicit, user-specific eye-tracker calibration, and accuracy can drift when the device shifts during use. We present GazeAgent, a VLM-guided framework that continuously and adaptively improves gaze-calibration accuracy from naturally occurring behavior without asking users to interrupt their activities. GazeAgent identifies precise visual attention (PVA) events from multimodal streams of inertial measurement unit (IMU), gaze, and wearer-hand signals, validates their task relevance, and localizes functional targets as pseudo-calibration targets. In a 10-participant scripted study, the system detected all 820 predefined PVA opportunities and, under device disturbance, reduced median gaze error by 44.1% compared with explicit calibration. In a five-participant case study, autonomous calibration produced the lowest workload and interruption ratings, and all participants preferred it for routine use. By deriving task-critical targets from natural multimodal behavior, GazeAgent demonstrates the potential for continuous, adaptive, and low-burden gaze interaction on egocentric AI glasses.
- Abstract(参考訳): AIメガネは通常、明示的でユーザ固有のアイトラッカーキャリブレーションを必要とし、使用中にデバイスがシフトしたときに精度が低下する可能性がある。
本稿では,VLM誘導型フレームワークであるGazeAgentについて,ユーザが活動を中断することなく,自然発生行動から視線校正精度を継続的に,適応的に改善する。
GazeAgentは、慣性測定ユニット(IMU)のマルチモーダルストリームから正確な視覚的注意(PVA)イベントを特定し、そのタスク関連性を検証し、機能目標を擬似校正ターゲットとしてローカライズする。
10人の参加者によるスクリプトによる研究で、システムは事前に定義された820のPVAの機会を全て検出し、デバイス障害の下では、明示的な校正と比較して中央の視線誤差を44.1%削減した。
5人の被験者を対象にしたケーススタディでは、自律的なキャリブレーションにより作業負荷と中断率が最も低く、すべての参加者が日常的な使用を好んだ。
GazeAgent氏は、タスククリティカルなターゲットを自然なマルチモーダルな振る舞いから導き出すことによって、エゴセントリックなAIグラス上での連続的、適応的、低バーデンな視線相互作用の可能性を示している。
関連論文リスト
- PRISM: Precision Forcing for Generalist Vision-Language-Action Policies [17.674707087600485]
事前訓練された視覚言語モデルとフローマッチングアクションエキスパートを結合することは、ポリシーを具体化するための主流の視覚言語アクションパラダイムとなった。
この弱点は、コンテキストやフロー時間にまたがるフローマッチングエラーを平均化するトレーニング目標に起因しています。
熟練マニピュレーション(PRISM)の高精度化と内部化として、この精度強化戦略をインスタンス化する。
論文 参考訳(メタデータ) (2026-10-10T08:21:29Z) - Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。
本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。
VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
論文 参考訳(メタデータ) (2026-09-21T08:08:56Z) - Supervised Cross-Modal Feature Alignment for Zero-Wearable Freezing of Gait Detection in Parkinsonism [0.0]
パーキンソン病における歩行凍結(FoG)の客観的評価は主にウェアラブル慣性計測装置(IMU)に依存している
本稿では,これらの物理観測限界を解決するために,教師付きクロスモーダルサブスペース蒸留フレームワークを提案する。
最適化の間、IMUセンサーからの事前トレーニングされたキネマティックデータと文脈的臨床メタデータは、デプロイ可能なビジュアルアーキテクチャを導くためのオラクルとして機能する。
論文 参考訳(メタデータ) (2026-09-08T06:40:50Z) - Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。
従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。
本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-10T06:30:19Z) - Improving Driver Drowsiness Detection via Personalized EAR/MAR Thresholds and CNN-Based Classification [0.0]
視覚に基づく運転監視システムは、しばしば固定された視線アスペクト比 (EAR) とMouth Aspect Ratio (MAR) のしきい値に依存する。
本稿では,眼球運動,頭部位置,あくび行動をリアルタイムに監視する,パーソナライズドロージー検出システムを提案する。
ディープラーニングに基づく畳み込みニューラルネットワーク(CNN)モデルは、困難なシナリオにおける精度を高めるために統合されている。
論文 参考訳(メタデータ) (2026-04-24T12:00:08Z) - ActFER: Agentic Facial Expression Recognition via Active Tool-Augmented Visual Reasoning [55.562958315741646]
本稿では, アクティブな視覚的エビデンス獲得とマルチモーダル推論を兼ね備えたエージェントフレームワークであるActFERを提案する。
さらに,エージェントFERに適した強化学習アルゴリズムである実用性キャリブレーションGRPOを開発した。
論文 参考訳(メタデータ) (2026-04-10T05:53:19Z) - PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。
PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。
3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
論文 参考訳(メタデータ) (2026-02-24T08:56:52Z) - Data-centric Design of Learning-based Surgical Gaze Perception Models in Multi-Task Simulation [16.689550165317765]
ロボットによる侵襲的最小侵襲手術(RMIS)では、触覚フィードバックと奥行きの手がかりが専門的な視覚的知覚に依存している。
本研究では,ダ・ヴィンチ・シムNowシミュレータ上で4つのドリルで収集した,アクティブ・パッシブ・マルチタスク・サーチ・ギャグ・データセットについて紹介する。
我々は、視線組織におけるスキルとモダリティに依存した差異を定量化し、手術監督のための受動的視線の置換性を評価する。
論文 参考訳(メタデータ) (2026-02-09T22:52:59Z) - AI-Powered Machine Learning Approaches for Fault Diagnosis in Industrial Pumps [0.0]
本研究では,実世界のセンサデータを用いた産業用ポンプシステムにおける早期故障検出の実践的アプローチを提案する。
フレームワークはスケーラブルで、解釈可能で、リアルタイムな産業展開に適している。
論文 参考訳(メタデータ) (2025-08-21T13:33:09Z) - SlowFastVAD: Video Anomaly Detection via Integrating Simple Detector and RAG-Enhanced Vision-Language Model [52.47816604709358]
ビデオ異常検出(VAD)は、ビデオ内の予期せぬ事象を識別することを目的としており、安全クリティカルドメインに広く応用されている。
視覚言語モデル(VLM)は強力なマルチモーダル推論能力を示し、異常検出の新しい機会を提供している。
SlowFastVADは高速異常検出器と低速異常検出器を統合したハイブリッドフレームワークである。
論文 参考訳(メタデータ) (2025-04-14T15:30:03Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-11-06T22:13:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。