論文の概要: EgoBrain: Synergizing Minds and Eyes For Human Action Understanding

• arxiv url: http://arxiv.org/abs/2506.01353v1
• Date: Mon, 02 Jun 2025 06:14:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.053391
• Title: EgoBrain: Synergizing Minds and Eyes For Human Action Understanding
• Title（参考訳）: EgoBrain:人間の行動理解のための心と眼のシンセサイザー
• Authors: Nie Lin, Yansen Wang, Dongqi Han, Weibang Jiang, Jingyuan Li, Ryosuke Furuta, Yoichi Sato, Dongsheng Li,
• Abstract要約: EgoBrainは、長期にわたって人間の脳の自我中心の視覚と脳波を同期させる、世界初の大規模な、時間的に整列したマルチモーダルデータセットである。 このデータセットは、毎日29種類の活動に携わる40人の参加者から、同期された32チャンネル脳波記録と1対1のビデオの61時間からなる。 すべてのデータ、ツール、取得プロトコルはオープンに共有され、認知コンピューティングにおけるオープンサイエンスを育む。
• 参考スコア（独自算出の注目度）: 31.917322192746678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of brain-computer interfaces (BCIs), in particular electroencephalography (EEG), with artificial intelligence (AI) has shown tremendous promise in decoding human cognition and behavior from neural signals. In particular, the rise of multimodal AI models have brought new possibilities that have never been imagined before. Here, we present EgoBrain --the world's first large-scale, temporally aligned multimodal dataset that synchronizes egocentric vision and EEG of human brain over extended periods of time, establishing a new paradigm for human-centered behavior analysis. This dataset comprises 61 hours of synchronized 32-channel EEG recordings and first-person video from 40 participants engaged in 29 categories of daily activities. We then developed a muiltimodal learning framework to fuse EEG and vision for action understanding, validated across both cross-subject and cross-environment challenges, achieving an action recognition accuracy of 66.70%. EgoBrain paves the way for a unified framework for brain-computer interface with multiple modalities. All data, tools, and acquisition protocols are openly shared to foster open science in cognitive computing.
• Abstract（参考訳）: 脳-コンピュータインターフェース(BCI)、特に脳波(EEG)と人工知能(AI)の統合は、人間の認知と行動を神経信号から解読する上で非常に有望であることを示している。 特に、マルチモーダルAIモデルの台頭は、これまで想像されたことのない新たな可能性をもたらしている。 ここでは、エゴセントリックな視覚と人間の脳の脳波を長時間にわたって同期させ、人間中心の行動分析のための新しいパラダイムを確立する、世界初の大規模で時間的に整合したマルチモーダルデータセットであるEgoBrainを紹介します。 このデータセットは、毎日29種類の活動に携わる40人の参加者から、同期された32チャンネル脳波記録と1対1のビデオの61時間からなる。 そこで我々は,脳波と行動理解のビジョンを融合させるミュルティモーダル学習フレームワークを開発した。 EgoBrainは、複数のモダリティを持つ脳-コンピュータインターフェースのための統一されたフレームワークの道を開く。 すべてのデータ、ツール、取得プロトコルはオープンに共有され、認知コンピューティングにおけるオープンサイエンスを育む。

関連論文リスト

• Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [58.58177409853298]
  大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。 この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。 本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:05:34Z)
• Shifting Attention to You: Personalized Brain-Inspired AI Models [3.0128071072792366]
  人間の行動洞察とミリ秒スケールのニューラルネットワークを微調整CLIPベースモデルに統合することで、修正されていないCLIPベースラインと比較して、行動性能が2倍になることを示す。 我々の研究は、適応型AIシステムを設計するための、新しい解釈可能なフレームワークを確立し、神経科学、パーソナライズドメディカル、人間とコンピュータの相互作用に幅広い意味を持つ。
  論文  参考訳（メタデータ） (2025-02-07T04:55:31Z)
• Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
  本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。 具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。 知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
  論文  参考訳（メタデータ） (2024-07-31T04:32:43Z)
• Orangutan: A Multiscale Brain Emulation-Based Artificial Intelligence Framework for Dynamic Environments [2.8137865669570297]
  本稿では,脳に触発された新しいAIフレームワーク,Orangutanを紹介する。 複数のスケールで生体脳の構造と計算機構をシミュレートする。 物体観察時の人眼球運動をシミュレートする感覚運動モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-18T01:41:57Z)
• Achieving More Human Brain-Like Vision via Human EEG Representational Alignment [1.811217832697894]
  非侵襲脳波に基づく人間の脳活動に対応する視覚モデル「Re(presentational)Al(ignment)net」を提案する。 我々の革新的な画像から脳への多層符号化フレームワークは、複数のモデル層を最適化することにより、人間の神経のアライメントを向上する。 我々の発見は、ReAlnetが人工と人間の視覚のギャップを埋め、より脳に似た人工知能システムへの道を歩むブレークスルーを表していることを示唆している。
  論文  参考訳（メタデータ） (2024-01-30T18:18:41Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training [66.16134293168535]
  我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。 具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
  論文  参考訳（メタデータ） (2023-09-13T09:22:49Z)
• In the realm of hybrid Brain: Human Brain and AI [0.0]
  現在の脳-コンピュータインターフェース(BCI)技術は主に治療結果に関するものである。 近年,脳信号のデコードには人工知能(AI)と機械学習(ML)技術が用いられている。 クローズドループ,インテリジェント,低消費電力,小型化されたニューラルインターフェースの開発を想定する。
  論文  参考訳（メタデータ） (2022-10-04T08:35:34Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• An Investigation on Non-Invasive Brain-Computer Interfaces: Emotiv Epoc+ Neuroheadset and Its Effectiveness [0.7734726150561089]
  人間の脳から直接人間の音声を、Facebook Reality Labとカリフォルニア大学サンフランシスコ校が導入したデジタルスクリーンにデコードする。 そこで我々は,脳-機械インタフェース(BMI)アプローチを用いて,ヒト脳を制御するビジョンプロジェクトについて検討した。 我々は、非侵襲的、挿入可能、低コストのBCIアプローチが、身体麻痺の患者だけでなく、脳を理解するための代替手段の焦点となると想定している。
  論文  参考訳（メタデータ） (2022-06-24T05:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。