論文の概要: Eye Gaze as a Signal for Conveying User Attention in Contextual AI Systems

• arxiv url: http://arxiv.org/abs/2501.13878v1
• Date: Thu, 23 Jan 2025 17:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:55:57.147175
• Title: Eye Gaze as a Signal for Conveying User Attention in Contextual AI Systems
• Title（参考訳）: コンテキストAIシステムにおけるユーザの注意を喚起する信号としての視線
• Authors: Ethan Wilson, Naveen Sendhilnathan, Charlie S. Burlingham, Yusuf Mansour, Robert Cavin, Sai Deep Tetali, Ajoy Savio Fernandes, Michael J. Proulx,
• Abstract要約: マルチモーダルAIエージェントは、世界中の課題を解決するために、ユーザとコラボレーションできる。 本研究では,このようなインタラクションにおける視線追跡の役割を探求し,身体環境に対するユーザの注意を伝達する。
• 参考スコア（独自算出の注目度）: 6.910103624072253
• License:
• Abstract: Advanced multimodal AI agents can now collaborate with users to solve challenges in the world. We explore eye tracking's role in such interaction to convey a user's attention relative to the physical environment. We hypothesize that this knowledge improves contextual understanding for AI agents. By observing hours of human-object interactions, we first measure the relationship between an eye tracker's signal quality and its ability to reliably place gaze on nearby physical objects. We then conduct experiments which relay the user's scanpath history as additional context querying multimodal agents. Our results show that eye tracking provides high value as a user attention signal and can convey information about the user's current task and interests to the agent.
• Abstract（参考訳）: 高度なマルチモーダルAIエージェントは、世界中の課題を解決するために、ユーザとコラボレーションできるようになった。 本研究では,このようなインタラクションにおける視線追跡の役割を探求し,身体環境に対するユーザの注意を伝達する。 我々は、この知識がAIエージェントの文脈的理解を改善すると仮定する。 人間の物体と物体の相互作用を何時間も観察することにより、まず、視線追跡者の信号品質と、近くの物体に確実に視線を向ける能力の関係を計測する。 次に,マルチモーダルエージェントに対するコンテキストクエリとして,ユーザのスキャンパス履歴を中継する実験を行う。 その結果,視線追跡はユーザの注意信号として高い価値を提供し,ユーザの現在の課題や関心事に関する情報をエージェントに伝達できることが示唆された。

関連論文リスト

• I-MPN: Inductive Message Passing Network for Efficient Human-in-the-Loop Annotation of Mobile Eye Tracking Data [4.487146086221174]
  本稿では,移動眼球追跡設定における物体の自動認識のための新しい人間中心学習アルゴリズムを提案する。 提案手法は,オブジェクト検出器と空間的関係を考慮した誘導型メッセージパッシングネットワーク(I-MPN)をシームレスに統合し,ノードプロファイル情報を活用し,オブジェクト相関を捉える。
  論文  参考訳（メタデータ） (2024-06-10T13:08:31Z)
• Modeling User Preferences via Brain-Computer Interfacing [54.3727087164445]
  我々はBrain-Computer Interface技術を用いてユーザの好みを推測し、その注意力は視覚的コンテンツと感情的体験との関連性に相関する。 我々はこれらを,情報検索,生成モデルのパーソナライズされたステアリング,感情経験のクラウドソーシング人口推定など,関連するアプリケーションにリンクする。
  論文  参考訳（メタデータ） (2024-05-15T20:41:46Z)
• GazeGPT: Augmenting Human Capabilities using Gaze-contingent Contextual AI for Smart Eyewear [30.71112461604336]
  本稿では,文脈AIのための新しいユーザインタラクションパラダイムとしてGazeGPTを紹介する。 GazeGPTは、視線追跡を利用して、LMMがユーザーが注意を払っている世界のカメラビューのどのオブジェクトかを理解するのを助ける。 我々は、この視線移入機構が代替手段よりも高速で高精度なポインティング機構であることが示している。
  論文  参考訳（メタデータ） (2024-01-30T18:02:44Z)
• Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
  エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。 我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
  論文  参考訳（メタデータ） (2024-01-07T19:11:18Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• CLERA: A Unified Model for Joint Cognitive Load and Eye Region Analysis in the Wild [18.79132232751083]
  目領域のダイナミックスをリアルタイムに分析することで、人間の視覚的注意の割り当てを監視し、精神状態を推定することができる。 共同学習フレームワークにおいて,正確なキーポイント検出と時間追跡を実現するCLERAを提案する。 また,共同瞳孔,眼開放性,ランドマークアノテーションを用いた30万人の顔の大規模データセットも導入した。
  論文  参考訳（メタデータ） (2023-06-26T21:20:23Z)
• What do navigation agents learn about their environment? [39.74076893981299]
  本稿では、ポイントゴールナビゲーションエージェントとオブジェクトゴールナビゲーションエージェントのための、エンボディード・アグエント(iSEE)の解釈可能性システムについて紹介する。 これらのエージェントが生成する動的表現をiSEEを用いて探索し,エージェントや環境に関する情報を提示する。
  論文  参考訳（メタデータ） (2022-06-17T01:33:43Z)
• First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization [112.40598205054994]
  我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。 タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。 以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-24T21:57:18Z)
• Do Pedestrians Pay Attention? Eye Contact Detection in the Wild [75.54077277681353]
  都市環境では、人間は近くの人々との迅速かつ効率的なコミュニケーションのためにアイコンタクトに依存している。 本稿では,環境や歩行者距離を制御できない自動運転車の眼球接触検出,すなわち実世界のシナリオに着目した。 本稿では, セマンティックキーポイントを利用したアイコンタクト検出モデルを導入し, このハイレベルな表現が, 一般公開データセットJAADの最先端結果を実現することを示す。 ドメイン適応を研究するために、私たちは、野生のアイコンタクト検出のための大規模データセット、LOOKを作成しました。
  論文  参考訳（メタデータ） (2021-12-08T10:21:28Z)
• MutualEyeContact: A conversation analysis tool with focus on eye contact [69.17395873398196]
  MutualEyeContactは、社会的相互作用における(相互)アイコンタクトの重要性を理解するのに役立つ。 我々は、最先端の視線追跡と機械学習に基づく顔認識を組み合わせるとともに、ソーシャルインタラクションセッションの分析と可視化のためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-09T15:05:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。