論文の概要: EEGaze: Multimodal Attention Prediction in Visual Search via EEG-Based Saliency Refinement

• arxiv url: http://arxiv.org/abs/2610.35757v1
• Date: Mon, 26 Oct 2026 17:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.123938
• Title: EEGaze: Multimodal Attention Prediction in Visual Search via EEG-Based Saliency Refinement
• Title（参考訳）: EEGaze:EEGベースのサリエンシリファインメントによる視覚検索におけるマルチモーダルアテンション予測
• Abstract要約: 我々は、現実的な刺激を伴う無料の視覚検索データセットであるEEGaze 140を提示する。 第2に、脳波信号を統合する視覚探索において、人間の注意を予測するための最初の方法であるEEGazeNetを紹介する。
• 参考スコア（独自算出の注目度）: 12.854524049942093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual search is ubiquitous in daily life, from locating keys in a messy apartment to finding a tool in a cluttered workshop or an application icon on a desktop screen. While visual attention is to a large extent driven by image content, research in psychology indicates that user cognitive states have a significant influence on attention allocation. A promising way to access information about cognitive states is via Electroencephalography (EEG) recordings. Despite this potential, previous works in computational attention modeling have largely disregarded EEG, and related studies in psychology operate with abstract, simplistic stimuli, or even artificially guided search procedures. We bridge this gap with two contributions. First, we present EEGaze 140, the largest publicly available multimodal dataset of free visual search with realistic stimuli. The dataset contains synchronized EEG and eye tracking recordings from 36 participants across 140 naturalistic scenes, covering two scenarios: searching for desktop icons and finding tools in cluttered workshop scenes. Second, we introduce EEGazeNet, the first method for human attention prediction in visual search that integrates EEG signals. Our approach consists of a EEG guided refinement stage that adapts the output of a state of the art saliency prediction method to the user current cognitive state. In comprehensive evaluations on EEGaze 140, we show that EEGazeNet consistently outperforms all baselines and ablation conditions.
• Abstract（参考訳）: ビジュアル検索は、散らかったアパートの鍵の場所から、散らかったワークショップやデスクトップ画面のアプリケーションアイコンのツールを見つけるまで、日常的に広く使われている。 視覚的注意は画像の内容によって大きく引き起こされるが、心理学的な研究は、ユーザの認知状態が注意割当に大きな影響を与えることを示している。 認知状態に関する情報にアクセスするための有望な方法は脳波記録(EEG)である。 この可能性にもかかわらず、計算注意モデリングにおける以前の研究は脳波をほとんど無視しており、心理学における関連する研究は抽象的、単純化的な刺激、あるいは人工的に導かれた探索手順で行われている。 このギャップを2つのコントリビューションで埋めます。 まず,現実的な刺激を伴う自由視覚検索のマルチモーダルデータセットであるEEGaze 140を紹介する。 このデータセットには、140の自然主義シーンにわたる36人の参加者による、同期された脳波とアイトラッキング記録が含まれており、デスクトップアイコンの検索と、散らかったワークショップシーンでのツール発見という2つのシナリオをカバーしている。 第2に、脳波信号を統合する視覚探索において、人間の注意を予測するための最初の方法であるEEGazeNetを紹介する。 提案手法は,脳波ガイドによる改善段階からなり,現在のユーザの認知状態に対して,最先端の正当性予測手法の出力を適応させる。 EEGaze 140の総合評価では、EEGazeNetは全てのベースラインとアブレーション条件を一貫して上回っている。

関連論文リスト

• MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus [7.187175853663672]
  マルチモーダル・アテンション・エゴセントリック・スピーチ・トラッキング・コーパス(MAESTRO)について紹介する。 MAESTROは、脳波、視線、瞳孔計測、自我中心ビデオ、頭部慣性計測ユニット(IMU)データを同時に記録する最初のAADデータセットである。 行動信号と生理信号を組み合わせることで,脳波のみのアプローチよりもデコード性能が向上することを示す。
  論文  参考訳（メタデータ） (2026-09-25T18:34:04Z)
• SVC 2026: the Second Multimodal Deception Detection Challenge and the First Domain Generalized Remote Physiological Measurement Challenge [65.65412830182494]
  Subtle Visual Challengeは、微妙な視覚信号の堅牢な表現を学習することを目的としている。 この課題には、クロスドメイン推定とリモートフォトプレソグラフィーの2つのタスクが含まれる。 合計22チームが最終結果をこのワークショップに提出した。
  論文  参考訳（メタデータ） (2026-04-07T11:47:31Z)
• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors [49.99728312519117]
  この研究の目的は、最近の意味に基づくアクティブな知覚モデルが、人間が定期的に行う視覚的なタスクをいかに正確に達成できるかを確立することである。 このモデルは、現在のオブジェクト検出器が多数のオブジェクトクラスをローカライズし、分類し、複数の固定にまたがるシーンのセマンティック記述を更新する能力を利用する。 シーン探索の課題では、セマンティック・ベースの手法は従来のサリエンシ・ベース・モデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T18:15:57Z)
• See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity [37.837710340954374]
  本稿では2つのモダリティのデータをアノテーションとは対照的に相関する1段階の脳波視覚検索パラダイムを提案する。 提案手法は,既存の手法では不可能な,インスタンスレベルの脳波視覚検索タスクを完了させる。
  論文  参考訳（メタデータ） (2022-08-07T08:11:15Z)
• A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications [56.458448869572294]
  脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。 エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。 我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
  論文  参考訳（メタデータ） (2022-06-17T10:17:24Z)
• Where Is My Mind (looking at)? Predicting Visual Attention from Brain Activity [2.3328195425884264]
  注目度マップを推定する最も一般的なアプローチの1つは、観察された画像に基づいている。 脳波の取得から視覚的注意を抽出できることが示される。 結果は観察された画像の従来の予測に匹敵する。
  論文  参考訳（メタデータ） (2022-01-11T12:16:10Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。