論文の概要: Imagined Speech and Visual Imagery as Intuitive Paradigms for Brain-Computer Interfaces

• arxiv url: http://arxiv.org/abs/2411.09400v1
• Date: Thu, 14 Nov 2024 12:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:18.094064
• Title: Imagined Speech and Visual Imagery as Intuitive Paradigms for Brain-Computer Interfaces
• Title（参考訳）: 脳-コンピュータインタフェースのための直観的パラダイムとしての音声と視覚画像
• Authors: Seo-Hyun Lee, Ji-Ha Park, Deok-Seon Kim,
• Abstract要約: 本研究では,音声・視覚画像の分類性能と脳接続パターンについて検討した。 結果は、BCI通信における直感的でスケーラブルなパラダイムとして、想像された音声と視覚的イメージの可能性を示唆している。
• 参考スコア（独自算出の注目度）: 1.33134751838052
• License:
• Abstract: Recent advancements in brain-computer interface (BCI) technology have emphasized the promise of imagined speech and visual imagery as effective paradigms for intuitive communication. This study investigates the classification performance and brain connectivity patterns associated with these paradigms, focusing on decoding accuracy across selected word classes. Sixteen participants engaged in tasks involving thirteen imagined speech and visual imagery classes, revealing above-chance classification accuracy for both paradigms. Variability in classification accuracy across individual classes highlights the influence of sensory and motor associations in imagined speech and vivid visual associations in visual imagery. Connectivity analysis further demonstrated increased functional connectivity in language-related and sensory regions for imagined speech, whereas visual imagery activated spatial and visual processing networks. These findings suggest the potential of imagined speech and visual imagery as an intuitive and scalable paradigm for BCI communication when selecting optimal word classes. Further exploration of the decoding outcomes for these two paradigms could provide insights for practical BCI communication.
• Abstract（参考訳）: 脳-コンピュータインタフェース(BCI)技術の最近の進歩は、直感的なコミュニケーションのための効果的なパラダイムとして、想像された音声と視覚イメージの約束を強調している。 本研究では、これらのパラダイムに関連する分類性能と脳接続パターンについて検討し、選択した単語クラス間での復号精度に着目した。 16人の参加者が13の想像的音声と視覚画像の授業に携わり、両方のパラダイムの上位分類精度を明らかにした。 クラスごとの分類精度のばらつきは、想像された音声における感覚と運動関連の影響と視覚イメージにおける鮮明な視覚関連を浮き彫りにする。 接続性分析により、音声の言語関連領域と知覚領域における機能的接続性はさらに向上し、視覚的画像は空間的および視覚的処理ネットワークを活性化した。 これらの知見は、最適な単語クラスを選択する際に、BCI通信のための直感的でスケーラブルなパラダイムとして、想像された音声と視覚イメージの可能性を示唆している。 これら2つのパラダイムの復号結果のさらなる探索は、実用的なBCIコミュニケーションの洞察を与える可能性がある。

関連論文リスト

• Towards Dynamic Neural Communication and Speech Neuroprosthesis Based on Viseme Decoding [25.555303640695577]
  テキスト、音声、あるいは人間の神経信号から画像を復号することは、患者の神経補綴や革新的なコミュニケーションツールとして有望な可能性を秘めている。 音声関連非侵襲脳信号から視覚音声意図を復号する拡散モデルに基づくフレームワークを開発した。 脳信号と動的視覚インターフェースのギャップを効果的に埋め、コヒーレントな唇運動の再構築に成功した。
  論文  参考訳（メタデータ） (2025-01-09T04:47:27Z)
• Towards Unified Neural Decoding of Perceived, Spoken and Imagined Speech from EEG Signals [1.33134751838052]
  本研究では,非侵襲的ニューラルネットワーク復号法におけるディープラーニングモデルの有効性について検討した。 それは、知覚、過度、ささやき、想像されたスピーチなど、異なる音声パラダイムの区別に焦点を当てた。
  論文  参考訳（メタデータ） (2024-11-14T07:20:08Z)
• MindSpeech: Continuous Imagined Speech Decoding using High-Density fNIRS and Prompt Tuning for Advanced Human-AI Interaction [0.0]
  本稿では,脳とAIの直接インターフェースを開発することによって,人間とAIのインタラクションを実現する新しい手法を提案する。 我々はMindSpeechと呼ばれる新しいAIモデルについて論じる。 4名中3名に対してBLEU-1,BERT Pスコアなどの指標を有意に改善した。
  論文  参考訳（メタデータ） (2024-07-25T16:39:21Z)
• Towards Decoding Brain Activity During Passive Listening of Speech [0.0]
  深層学習法を用いて頭蓋内脳波(iEEG)データから発声音声を復号しようとする。 このアプローチは、従来の音声生成の焦点から外れ、知覚された音声の神経表現を調査することを選択する。 アプローチはまだ画期的な成果を上げていないが、この研究は、音声認識中の神経活動の復号化の可能性に光を当てている。
  論文  参考訳（メタデータ） (2024-02-26T20:04:01Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• Inner speech recognition through electroencephalographic signals [2.578242050187029]
  本研究は、脳波信号から始まる内的音声認識に焦点を当てる。 脳波のテキストへの復号は、限られた数の単語(コマンド)の分類として理解されるべきである。 音声関連BCIは、脳信号からの音声コマンドを通してデバイスを制御する効果的な音声通信戦略を提供する。
  論文  参考訳（メタデータ） (2022-10-11T08:29:12Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。