Fugu-MT 論文翻訳(概要): MindSpeech: Continuous Imagined Speech Decoding using High-Density fNIRS and Prompt Tuning for Advanced Human-AI Interaction

論文の概要: MindSpeech: Continuous Imagined Speech Decoding using High-Density fNIRS and Prompt Tuning for Advanced Human-AI Interaction

arxiv url: http://arxiv.org/abs/2408.05362v1
Date: Thu, 25 Jul 2024 16:39:21 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 04:07:11.614876
Title: MindSpeech: Continuous Imagined Speech Decoding using High-Density fNIRS and Prompt Tuning for Advanced Human-AI Interaction
Title（参考訳）: MindSpeech: 高度なAIインタラクションのための高密度fNIRSとPrompt Tuningを用いた連続的な音声デコーディング
Authors: Suyi Zhang, Ekram Alam, Jack Baber, Francesca Bianco, Edward Turner, Maysam Chamanzar, Hamid Dehghani,
Abstract要約: 本稿では,脳とAIの直接インターフェースを開発することによって,人間とAIのインタラクションを実現する新しい手法を提案する。我々はMindSpeechと呼ばれる新しいAIモデルについて論じる。 4名中3名に対してBLEU-1,BERT Pスコアなどの指標を有意に改善した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In the coming decade, artificial intelligence systems will continue to improve and revolutionise every industry and facet of human life. Designing effective, seamless and symbiotic communication paradigms between humans and AI agents is increasingly important. This paper reports a novel method for human-AI interaction by developing a direct brain-AI interface. We discuss a novel AI model, called MindSpeech, which enables open-vocabulary, continuous decoding for imagined speech. This study focuses on enhancing human-AI communication by utilising high-density functional near-infrared spectroscopy (fNIRS) data to develop an AI model capable of decoding imagined speech non-invasively. We discuss a new word cloud paradigm for data collection, improving the quality and variety of imagined sentences generated by participants and covering a broad semantic space. Utilising a prompt tuning-based approach, we employed the Llama2 large language model (LLM) for text generation guided by brain signals. Our results show significant improvements in key metrics, such as BLEU-1 and BERT P scores, for three out of four participants, demonstrating the method's effectiveness. Additionally, we demonstrate that combining data from multiple participants enhances the decoder performance, with statistically significant improvements in BERT scores for two participants. Furthermore, we demonstrated significantly above-chance decoding accuracy for imagined speech versus resting conditions and the identified activated brain regions during imagined speech tasks in our study are consistent with the previous studies on brain regions involved in speech encoding. This study underscores the feasibility of continuous imagined speech decoding. By integrating high-density fNIRS with advanced AI techniques, we highlight the potential for non-invasive, accurate communication systems with AI in the near future.
Abstract（参考訳）: 今後10年間、人工知能システムはあらゆる産業と人間の生活に革命をもたらし続けるだろう。人間とAIエージェント間の効果的な、シームレスで共生的なコミュニケーションパラダイムを設計することがますます重要である。本稿では,脳とAIの直接インターフェースを開発することによって,人間とAIのインタラクションを実現する新しい手法を提案する。我々はMindSpeechと呼ばれる新しいAIモデルについて論じる。本研究では、高密度機能近赤外分光法(fNIRS)データを活用して、非侵襲的に予測された音声を復号できるAIモデルを開発することにより、人間とAIのコミュニケーションを向上させることに焦点を当てる。我々は、データ収集のための新しいワードクラウドパラダイムについて論じ、参加者が生成する想像文の品質と多様性を改善し、幅広い意味空間をカバーする。脳信号によるテキスト生成にLlama2大言語モデル(LLM)を用いた。以上の結果から,BLEU-1,BERT Pスコアなどの指標を4名中3名に有意な改善がみられ,その有効性が示された。さらに、複数の参加者のデータを組み合わせることでデコーダの性能が向上し、2人の参加者のBERTスコアが統計的に有意に向上することを示した。さらに,本研究は,音声符号化に関わる脳領域に関する従来の研究と一致している。本研究では,連続的な音声復号化の実現可能性について述べる。高密度fNIRSと高度なAI技術を統合することで、近い将来、AIと非侵襲的で正確な通信システムの可能性を強調します。

関連論文リスト

Towards Unified Neural Decoding of Perceived, Spoken and Imagined Speech from EEG Signals [1.33134751838052]
本研究では,非侵襲的ニューラルネットワーク復号法におけるディープラーニングモデルの有効性について検討した。それは、知覚、過度、ささやき、想像されたスピーチなど、異なる音声パラダイムの区別に焦点を当てた。
論文参考訳（メタデータ） (2024-11-14T07:20:08Z)
BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
論文参考訳（メタデータ） (2024-10-19T04:29:03Z)
Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文参考訳（メタデータ） (2024-09-13T18:28:12Z)
MindGPT: Advancing Human-AI Interaction with Non-Invasive fNIRS-Based Imagined Speech Decoding [0.0]
人間とAIエージェント間のシームレスで共生的なコミュニケーションを可能にするコミュニケーションシステムの構築がますます重要になっている。この研究は、非侵襲的高密度機能近赤外分光法(fNIRS)を用いた想像音声の復号化のための革新的なアプローチを開発することにより、人間とAIの相互作用の分野を前進させる。特に本研究では,世界初の思考言語モデルであるMindGPTを紹介した。
論文参考訳（メタデータ） (2024-07-25T18:18:52Z)
Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
コネクショニストと象徴的人工知能(AI)の収束を探求する記事従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
論文参考訳（メタデータ） (2024-07-11T14:00:53Z)
Sequential Best-Arm Identification with Application to Brain-Computer Interface [34.87975833920409]
脳コンピュータインタフェース(BCI)は、脳と外部デバイスまたはコンピュータシステムとの直接通信を可能にする技術である。脳波(EEG)と事象関連電位(ERP)に基づくスペルシステム(ERP)は、物理キーボードを使わずに単語をスペルできるBCIの一種である。本稿では,固定信頼度設定と固定予算設定の下での逐次トップ2トンプソンサンプリング(STTS)アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-05-17T18:49:44Z)
A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文参考訳（メタデータ） (2023-02-08T17:34:32Z)
Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文参考訳（メタデータ） (2022-08-25T10:01:43Z)
Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文参考訳（メタデータ） (2022-06-03T17:01:46Z)
Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文参考訳（メタデータ） (2022-02-16T00:23:42Z)
Building Human-like Communicative Intelligence: A Grounded Perspective [1.0152838128195465]
言語学習における驚くべき進歩の後、AIシステムは人間のコミュニケーション能力の重要な側面を反映しない天井に近づいたようだ。本稿は、ナチビストと象徴的パラダイムに基づく認知にインスパイアされたAIの方向性には、現代AIの進歩を導くために必要なサブストラテジと具体性がないことを示唆する。本稿では,「地下」言語知能構築のための具体的かつ実装可能なコンポーネントのリストを提案する。
論文参考訳（メタデータ） (2022-01-02T01:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。