論文の概要: Imagined Speech and Visual Imagery as Intuitive Paradigms for Brain-Computer Interfaces

• arxiv url: http://arxiv.org/abs/2411.09400v1
• Date: Thu, 14 Nov 2024 12:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:18.094064
• Title: Imagined Speech and Visual Imagery as Intuitive Paradigms for Brain-Computer Interfaces
• Title（参考訳）: 脳-コンピュータインタフェースのための直観的パラダイムとしての音声と視覚画像
• Authors: Seo-Hyun Lee, Ji-Ha Park, Deok-Seon Kim,
• Abstract要約: 本研究では,音声・視覚画像の分類性能と脳接続パターンについて検討した。 結果は、BCI通信における直感的でスケーラブルなパラダイムとして、想像された音声と視覚的イメージの可能性を示唆している。
• 参考スコア（独自算出の注目度）: 1.33134751838052
• License:
• Abstract: Recent advancements in brain-computer interface (BCI) technology have emphasized the promise of imagined speech and visual imagery as effective paradigms for intuitive communication. This study investigates the classification performance and brain connectivity patterns associated with these paradigms, focusing on decoding accuracy across selected word classes. Sixteen participants engaged in tasks involving thirteen imagined speech and visual imagery classes, revealing above-chance classification accuracy for both paradigms. Variability in classification accuracy across individual classes highlights the influence of sensory and motor associations in imagined speech and vivid visual associations in visual imagery. Connectivity analysis further demonstrated increased functional connectivity in language-related and sensory regions for imagined speech, whereas visual imagery activated spatial and visual processing networks. These findings suggest the potential of imagined speech and visual imagery as an intuitive and scalable paradigm for BCI communication when selecting optimal word classes. Further exploration of the decoding outcomes for these two paradigms could provide insights for practical BCI communication.
• Abstract（参考訳）: 脳-コンピュータインタフェース(BCI)技術の最近の進歩は、直感的なコミュニケーションのための効果的なパラダイムとして、想像された音声と視覚イメージの約束を強調している。 本研究では、これらのパラダイムに関連する分類性能と脳接続パターンについて検討し、選択した単語クラス間での復号精度に着目した。 16人の参加者が13の想像的音声と視覚画像の授業に携わり、両方のパラダイムの上位分類精度を明らかにした。 クラスごとの分類精度のばらつきは、想像された音声における感覚と運動関連の影響と視覚イメージにおける鮮明な視覚関連を浮き彫りにする。 接続性分析により、音声の言語関連領域と知覚領域における機能的接続性はさらに向上し、視覚的画像は空間的および視覚的処理ネットワークを活性化した。 これらの知見は、最適な単語クラスを選択する際に、BCI通信のための直感的でスケーラブルなパラダイムとして、想像された音声と視覚イメージの可能性を示唆している。 これら2つのパラダイムの復号結果のさらなる探索は、実用的なBCIコミュニケーションの洞察を与える可能性がある。

関連論文リスト

• Using Multimodal Deep Neural Networks to Disentangle Language from Visual Aesthetics [8.749640179057469]
  我々は、自然画像の人間の美的評価を予測するために、ユニモーダル視覚、ユニモーダル言語、マルチモーダルディープニューラルネットワーク(DNN)モデルの学習表現に対する線形復号を用いる。 言語対応型視覚モデル(SLIPなど)は, 単言語型視覚モデル(SimCLRなど)では, 言語対応の視覚モデル(SLIPなど)では, 単言語型視覚と比較して小さな利得が得られている。 まとめると、これらの結果は、最終的に我々が美の体験を説明するために見つかるであろう言葉が何であれ、フィードフォワードの知覚の計算は、その経験に十分な基礎を与えるかもしれないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-31T03:37:21Z)
• Towards Decoding Brain Activity During Passive Listening of Speech [0.0]
  深層学習法を用いて頭蓋内脳波(iEEG)データから発声音声を復号しようとする。 このアプローチは、従来の音声生成の焦点から外れ、知覚された音声の神経表現を調査することを選択する。 アプローチはまだ画期的な成果を上げていないが、この研究は、音声認識中の神経活動の復号化の可能性に光を当てている。
  論文  参考訳（メタデータ） (2024-02-26T20:04:01Z)
• MindGPT: Interpreting What You See with Non-invasive Brain Recordings [24.63828455553959]
  我々は,fMRI信号から知覚された視覚刺激を自然言語に解釈する,MindGPTと呼ばれる非侵襲的ニューラルデコーダを導入する。 実験の結果, 生成した単語列は, 目に見える刺激で伝達される視覚情報を真に表現していることがわかった。
  論文  参考訳（メタデータ） (2023-09-27T15:35:20Z)
• Emergence of Shared Sensory-motor Graphical Language from Visual Input [22.23299485364174]
  本稿では、話者が視覚的参照オブジェクトを名付けるために、グラフィカルな発話を生成しなければならないグラフィカル・リファレンシャル・ゲーム(GREG)を紹介した。 発声は、ダイナミックモータプリミティブとスケッチライブラリを組み合わせた描画画像である。 提案手法は,構成特性を持つ共有グラフィカル言語の出現を可能にする。
  論文  参考訳（メタデータ） (2022-10-03T17:11:18Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• From Two to One: A New Scene Text Recognizer with Visual Language Modeling Network [70.47504933083218]
  本稿では,視覚情報と言語情報を結合として見る視覚言語モデリングネットワーク(VisionLAN)を提案する。 VisionLANは39%のスピード向上を実現し、正確な認識のための視覚的特徴を高めるために言語情報を適応的に検討する。
  論文  参考訳（メタデータ） (2021-08-22T07:56:24Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)
• Visually Guided Self Supervised Learning of Speech Representations [62.23736312957182]
  音声視覚音声の文脈における視覚的モダリティによって導かれる音声表現を学習するためのフレームワークを提案する。 音声クリップに対応する静止画像をアニメーション化し、音声セグメントの実際の映像にできるだけ近いよう、生成した映像を最適化する。 我々は,感情認識のための技術成果と,音声認識のための競争結果を達成する。
  論文  参考訳（メタデータ） (2020-01-13T14:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。