論文の概要: Dynamic Neural Communication: Convergence of Computer Vision and Brain-Computer Interface

• arxiv url: http://arxiv.org/abs/2411.09211v1
• Date: Thu, 14 Nov 2024 06:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:18.946645
• Title: Dynamic Neural Communication: Convergence of Computer Vision and Brain-Computer Interface
• Title（参考訳）: 動的ニューラル通信:コンピュータビジョンと脳-コンピュータインタフェースの収束性
• Authors: Ji-Ha Park, Seo-Hyun Lee, Soowon Kim, Seong-Whan Lee,
• Abstract要約: 本稿では,コンピュータビジョンと脳-コンピュータインタフェース技術を活用した動的ニューラルコミュニケーション手法を提案する。 我々のアプローチは、ユーザの意図をニューラル信号から捉え、ビセムを短時間でデコードし、ダイナミックな視覚出力を生成する。 以上の結果から,ヒト神経信号の自然な発話における唇の動きを素早く捉え,再現する可能性が示された。
• 参考スコア（独自算出の注目度）: 25.555303640695577
• License:
• Abstract: Interpreting human neural signals to decode static speech intentions such as text or images and dynamic speech intentions such as audio or video is showing great potential as an innovative communication tool. Human communication accompanies various features, such as articulatory movements, facial expressions, and internal speech, all of which are reflected in neural signals. However, most studies only generate short or fragmented outputs, while providing informative communication by leveraging various features from neural signals remains challenging. In this study, we introduce a dynamic neural communication method that leverages current computer vision and brain-computer interface technologies. Our approach captures the user's intentions from neural signals and decodes visemes in short time steps to produce dynamic visual outputs. The results demonstrate the potential to rapidly capture and reconstruct lip movements during natural speech attempts from human neural signals, enabling dynamic neural communication through the convergence of computer vision and brain--computer interface.
• Abstract（参考訳）: 人間の神経信号を解釈してテキストや画像などの静的音声意図や音声やビデオなどの動的音声意図をデコードすることは、革新的なコミュニケーションツールとして大きな可能性を秘めている。 人間のコミュニケーションは、調音運動、表情、内部音声などの様々な特徴を伴い、これら全てが神経信号に反映される。 しかし、ほとんどの研究は短いあるいは断片化された出力しか生成しないが、神経信号から様々な特徴を利用する情報伝達は依然として困難である。 本研究では,現在のコンピュータビジョンと脳-コンピュータインタフェース技術を活用した動的ニューラルコミュニケーション手法を提案する。 我々のアプローチは、ユーザの意図をニューラル信号から捉え、ビセムを短時間でデコードし、ダイナミックな視覚出力を生成する。 これらの結果から,人間の神経信号からの自然な発話における唇の動きを素早く捉え,再構築する可能性を示し,コンピュータビジョンと脳-コンピュータインタフェースの収束による動的神経通信を可能にした。

関連論文リスト

• NeuroBind: Towards Unified Multimodal Representations for Neural Signals [20.02503060795981]
  脳波、fMRI、カルシウムイメージング、スパイキングデータを含む複数の脳信号タイプを統一する表現であるNeuroBindを提案する。 このアプローチは、神経科学研究の進展、AIシステムの改善、神経補綴学と脳-コンピュータインターフェースの開発において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-07-19T04:42:52Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Towards Decoding Brain Activity During Passive Listening of Speech [0.0]
  深層学習法を用いて頭蓋内脳波(iEEG)データから発声音声を復号しようとする。 このアプローチは、従来の音声生成の焦点から外れ、知覚された音声の神経表現を調査することを選択する。 アプローチはまだ画期的な成果を上げていないが、この研究は、音声認識中の神経活動の復号化の可能性に光を当てている。
  論文  参考訳（メタデータ） (2024-02-26T20:04:01Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks [27.64740032872726]
  脳信号から音声合成が可能な脳音声合成技術について紹介する。 また, 音声処理中に神経生理学的活性化の基盤となる神経特徴と音声の埋め込みを包括的に分析した。
  論文  参考訳（メタデータ） (2023-12-10T08:12:08Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。