論文の概要: Modeling Programmer Attention as Scanpath Prediction

• arxiv url: http://arxiv.org/abs/2308.13920v1
• Date: Sat, 26 Aug 2023 17:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 12:26:46.204917
• Title: Modeling Programmer Attention as Scanpath Prediction
• Title（参考訳）: スキャンパス予測としてのプログラマ意識のモデル化
• Authors: Aakash Bansal, Chia-Yi Su, Zachary Karas, Yifan Zhang, Yu Huang, Toby Jia-Jun Li, and Collin McMillan
• Abstract要約: 本稿では,眼球運動のスキャンパスを予測することで,プログラマの注意をモデル化するための新たな取り組みを開始する。 プログラマーの注意のモデルは、研究者がより良いインターフェイス、補助技術、そしてより人間らしいAIを構築するのを助けるために重要である。 本研究では,27人のプログラマとプロトタイプのスキャンパス予測器による視線追跡実験を行い,事前結果を提示し,早期のコミュニティフィードバックを得る。
• 参考スコア（独自算出の注目度）: 14.81050529571135
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper launches a new effort at modeling programmer attention by predicting eye movement scanpaths. Programmer attention refers to what information people intake when performing programming tasks. Models of programmer attention refer to machine prediction of what information is important to people. Models of programmer attention are important because they help researchers build better interfaces, assistive technologies, and more human-like AI. For many years, researchers in SE have built these models based on features such as mouse clicks, key logging, and IDE interactions. Yet the holy grail in this area is scanpath prediction -- the prediction of the sequence of eye fixations a person would take over a visual stimulus. A person's eye movements are considered the most concrete evidence that a person is taking in a piece of information. Scanpath prediction is a notoriously difficult problem, but we believe that the emergence of lower-cost, higher-accuracy eye tracking equipment and better large language models of source code brings a solution within grasp. We present an eye tracking experiment with 27 programmers and a prototype scanpath predictor to present preliminary results and obtain early community feedback.
• Abstract（参考訳）: 本稿では,眼球運動のスキャンパスを予測し,プログラマの注意をモデリングする新たな取り組みを開始する。 プログラマの注意は、プログラミングタスクを実行するときに人々が取り込む情報を指す。 プログラマの注意のモデルは、人々にとってどんな情報が重要かを予測するマシンを参照します。 プログラマーの注意のモデルは、研究者がより良いインターフェイス、補助技術、より人間らしいAIを構築するのを助けるため重要である。 SEの研究者たちは長年、マウスクリック、キーロギング、IDEインタラクションといった機能に基づいたモデルを構築してきた。 しかし、この地域の聖杯はスキャンパス予測であり、人が視覚刺激を受ける眼球固定の順序を予測する。 人の目の動きは、ある人が情報を取り入れている最も具体的な証拠だと考えられている。 スキャンパス予測は悪名高い難題だが、低コストで高精度な視線追跡装置の出現と、ソースコードのより大規模な言語モデルによって解決されると信じている。 本研究では,27人のプログラマとプロトタイプのスキャンパス予測器による視線追跡実験を行い,事前結果を提示し,早期のコミュニティフィードバックを得る。

関連論文リスト

• Look Hear: Gaze Prediction for Speech-directed Human Attention [49.81718760025951]
  本研究は、人物が画像を見て、参照表現を聴いているときの注意の漸進的な予測に焦点を当てた。 我々は,参照表現において各単語が引き起こす人間の定着を予測できるリファラルトランスフォーマーモデル(ART)を開発した。 定量的および定性的な分析では、ARTはスキャンパス予測の既存の手法よりも優れているだけでなく、いくつかの人間の注意パターンを捉えているように見える。
  論文  参考訳（メタデータ） (2024-07-28T22:35:08Z)
• OAT: Object-Level Attention Transformer for Gaze Scanpath Prediction [0.2796197251957245]
  本稿では,OAT(Object-level Attention Transformer)を紹介する。 OATは人間のスキャンパスを予測し、散らかった邪魔者のシーンで対象物を検索する。 我々は、Amazonの書籍カバーデータセットと、収集したビジュアル検索のための新しいデータセットに基づいて、OATを評価した。
  論文  参考訳（メタデータ） (2024-07-18T09:33:17Z)
• EyeFormer: Predicting Personalized Scanpaths with Transformer-Guided Reinforcement Learning [31.583764158565916]
  視覚的ユーザインタフェースにおけるスキャンパスを予測する機械学習モデルであるEyeFormerを提案する。 我々のモデルは、いくつかのユーザ・スキャンパス・サンプルが与えられたとき、パーソナライズされた予測を生成するユニークな能力を持っている。 固定位置や持続時間を含む全スキャンパス情報を個人や様々な刺激タイプで予測することができる。
  論文  参考訳（メタデータ） (2024-04-15T22:26:27Z)
• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• Enhancing Robot Learning through Learned Human-Attention Feature Maps [6.724036710994883]
  ロボット学習にフォーカスポイントに関する補助情報を埋め込むことで、学習プロセスの効率性と堅牢性が向上すると考えられる。 本稿では,人間の注意を近似予測モデルでモデル化し,エミュレートするための新しいアプローチを提案する。 我々は,物体検出と模倣学習という2つの学習課題にアプローチを試行する。
  論文  参考訳（メタデータ） (2023-08-29T14:23:44Z)
• ScanERU: Interactive 3D Visual Grounding based on Embodied Reference Understanding [67.21613160846299]
  Embodied Reference Understanding (ERU) はこの懸念に対して最初に設計されている。 ScanERUと呼ばれる新しいデータセットは、このアイデアの有効性を評価するために構築されている。
  論文  参考訳（メタデータ） (2023-03-23T11:36:14Z)
• Target-absent Human Attention [44.10971508325032]
  探索終端問題に対処する最初のデータ駆動型計算モデルを提案する。 我々は、新しい状態表現を用いて、視聴者が固定によって取得する内部知識を表現する。 我々は,COCO-Search18データセット上での人的目標依存探索行動の予測における技術の現状を改善した。
  論文  参考訳（メタデータ） (2022-07-04T02:32:04Z)
• Pedestrian 3D Bounding Box Prediction [83.7135926821794]
  我々は、自動運転車の複雑な動きの詳細をモデル化せずに、人間の合理的な推定値である3Dバウンディングボックスに焦点を当てる。 本稿では, 歩行者の3次元境界ボックス予測のための, 単純かつ効果的なモデルを提案する。 この方法は、繰り返しニューラルネットワークに基づくエンコーダ・デコーダアーキテクチャに従う。
  論文  参考訳（メタデータ） (2022-06-28T17:59:45Z)
• Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation? [54.442692221567796]
  タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
  論文  参考訳（メタデータ） (2022-04-23T19:39:49Z)
• From Recognition to Prediction: Analysis of Human Action and Trajectory Prediction in Video [4.163207534602723]
  将来の経路/軌道を予測するための人間の行動の解読が重要である。 人間の軌道予測は依然として困難な課題である。 システムは、シーンセマンティクスと同様に、人間の活動を検出し、分析しなければなりません。
  論文  参考訳（メタデータ） (2020-11-20T22:23:34Z)
• Projection Mapping Implementation: Enabling Direct Externalization of Perception Results and Action Intent to Improve Robot Explainability [62.03014078810652]
  既存の非言語的手がかり、例えば目視や腕の動きに関する研究は、ロボットの内部状態を正確に示さないかもしれない。 状態をロボットの動作環境に直接投影することは、直接的で正確でより健全であるという利点がある。
  論文  参考訳（メタデータ） (2020-10-05T18:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。