論文の概要: FETTUCCINE: Fast and efficient brain-to-text decoding on mobile devices
- arxiv url: http://arxiv.org/abs/2611.18561v1
- Date: Fri, 13 Nov 2026 18:59:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:27:54.505273
- Title: FETTUCCINE: Fast and efficient brain-to-text decoding on mobile devices
- Title(参考訳): FETTUCCINE: モバイルデバイス上での高速で効率的な脳とテキストのデコーディング
- Abstract要約: 本稿では、音声神経補綴のためのエンドツーエンド脳-テキストフレームワークであるFETTUCCINEを紹介する。
私たちのモデルは、最大370倍のスループットで、商用で利用可能なモバイルデバイス上で正常に動作します。
以上の結果から,FETTUCCINEは中核的なインフラや計算上の障壁を克服し,新たな脳-テキストコミュニケーションのクラスを生み出すことが示唆された。
- 参考スコア(独自算出の注目度): 3.5686546238300525
- License:
- Abstract: Recent advances in speech neuroprostheses have enabled new communication avenues for people who have lost the ability to speak due to neurological illness or injury. These systems can decode neural activity during attempted speech into text by relying on language priors to achieve high decoding accuracy. This performance currently comes at the cost of using a compute-intensive language modeling stack, presenting a major bottleneck for real-world use. Further, current language models incur highly variable and disruptive inference latencies, limiting communication throughput and preventing users from reliably participating in natural conversation. We introduce FETTUCCINE, an end-to-end brain-to-text framework that leverages the speed and portability of automatic speech recognition (ASR) models to address the aforementioned practical challenges, while achieving usable (<10%) word error rates (WER), efficient adaptation to neural non-stationarities, and reliable performance on mobile devices. When evaluated using publicly available data from an intracortical speech neuroprosthesis user, FETTUCCINE outperforms previous end-to-end methods, achieving as low as 4.39% WER. Most notably, our models successfully run on a commercially-available mobile device with throughput reaching up to 370x real-time, providing the first demonstration of brain-to-text decoding on a mobile device. We also show that our models can be successfully finetuned to extend usable performance to future days. Beyond performance, our approach enables localization of the neural features most relevant for decoding via gradient-based saliency maps, which we show align with well-established physiological priors across different ASR model families. Taken together, our results show that FETTUCCINE overcomes core infrastructural and computational barriers, yielding a new class of portable brain-to-text communication.
- Abstract(参考訳): 近年の音声神経補綴の進歩により、神経疾患や怪我により発話能力を失った人々のための新たなコミュニケーションの道が開かれた。
これらのシステムは、高い復号精度を達成するために、言語事前に依存することによって、音声中の神経活動をテキストに復号することができる。
このパフォーマンスは、現在、計算集約型言語モデリングスタックを使用するコストが伴っており、現実世界での使用において大きなボトルネックとなっている。
さらに、現在の言語モデルは、高度に可変かつ破壊的な推論遅延を引き起こし、通信スループットを制限し、ユーザが自然な会話に確実に参加することを防ぐ。
FETTUCCINEは、上記の課題に対処するために、自動音声認識(ASR)モデルの速度とポータビリティを活用し、使用可能な(10%)ワードエラー率(WER)、ニューラルネットワーク非定常性への効率的な適応、モバイルデバイス上での信頼性の高いパフォーマンスを実現する。
皮質内言語ニューロプロテーゼ使用者の公開データを用いて評価すると、FETTUCCINEは従来のエンドツーエンド法よりも優れ、4.39%のWERを達成している。
最も注目すべきは、私たちのモデルは商用のモバイルデバイス上で、スループットが370倍にも達し、モバイルデバイス上でのブレイン・トゥ・テキスト・デコーディングの最初のデモを可能にしたことです。
また、我々のモデルは、将来まで使用可能なパフォーマンスを拡大するために、微調整が成功できることも示しています。
以上の結果から,本手法は,ASRモデルファミリーにまたがって確立された生理的先行概念と整合性を示す。
この結果から,FETTUCCINEは中核的なインフラや計算上の障壁を克服し,新たな脳とテキストのコミュニケーションのクラスを生み出すことが示唆された。
関連論文リスト
- From Neurons to Conversation: Speech Brain-Computer Interfaces [0.9381376621526817]
音声脳-コンピュータインタフェース(BCI)は、音声、言語、またはコミュニケーション意図に関連する神経活動から、テキスト、合成音声、アバター制御などの外部出力に変換することによって、コミュニケーションを回復することを目的としている。
近年, 皮質内および皮質内記録, ディープシーケンスモデル, 言語モデル支援復号法が進歩し, 急速に進歩している。
これらの成果は、音声BCIが単にニューラル・トゥ・テキスト・デコーダではないことも明らかにしている。それらは、ニューラル表現、記録ハードウェア、デコードアーキテクチャ、言語優先、フィードバック、ユーザー学習が時間とともに対話する適応型臨床システムである。
論文 参考訳(メタデータ) (2026-09-29T05:10:57Z) - Accurate Decoding of Natural Sentences from Non-Invasive Brain Recordings [8.931958847414986]
脳2Qwerty v2は、リアルタイム脳磁図(MEG)記録からのみ、自然文の生成をデコードできるモデルである。
ディープラーニングによるイベント検出のための手作りパイプラインの置換,意味表現を抽出するための大規模言語モデルの微調整,デコードパイプラインを反復的に洗練するためのAIエージェントの配置,という3つの方法によって,AIがこのパフォーマンスを実現することを示す。
論文 参考訳(メタデータ) (2026-06-29T15:19:43Z) - SENSE: Efficient EEG-to-Text via Privacy-Preserving Semantic Retrieval [6.012652594597545]
脳活動を自然言語にデコードすることは、補助コミュニケーション、ニューロテクノロジー、人間とコンピュータの相互作用に重要な応用を持つAIにおける大きな課題である。
既存のBrain-Computer Interface (BCI) のアプローチは、Large Language Models (LLM) やエンコーダ-デコーダモデルのメモリ集約的な微調整に依存している。
我々は,非侵襲脳波(EEG)をLLM微調整なしでテキストに変換する軽量でプライバシー保護のフレームワークであるSENSEを紹介する。
論文 参考訳(メタデータ) (2026-03-17T19:59:41Z) - Brain-language fusion enables interactive neural readout and in-silico experimentation [0.8805057433368938]
CorTextは、大きな言語モデルの潜在空間に直接神経活動を統合するフレームワークである。
正確な画像キャプションを生成し、神経データのみにアクセスしながら、コントロールよりも詳細な質問に答えることができる。
これらの進歩は、受動的復号化から、脳の活動と言語の間の生成的で柔軟なインターフェースへの移行を示す。
論文 参考訳(メタデータ) (2025-09-28T15:35:25Z) - sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment [8.466223794246261]
本稿では,凍結したCLIPモデルの文埋め込み空間に単射ステレオ脳波信号(sEEG)を投影するコントラスト学習フレームワークであるSSENSEを提案する。
本手法は,自然主義映画視聴データセットから,時系列のsEEGと音声の書き起こしについて評価する。
論文 参考訳(メタデータ) (2025-04-20T03:01:42Z) - BrainLLM: Generative Language Decoding from Brain Recordings [77.66707255697706]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳(メタデータ) (2023-11-16T13:37:21Z) - LongFNT: Long-form Speech Recognition with Factorized Neural Transducer [64.75547712366784]
文レベルの長文特徴を語彙予測器の出力と直接融合するLongFNT-Textアーキテクチャを提案する。
また,LongFNT法の有効性を,相対単語誤り率(WER)が19%,GigaSpeechコーパスが12%,LongFNT法が19%であった。
論文 参考訳(メタデータ) (2022-11-17T08:48:27Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳(メタデータ) (2021-12-05T21:57:22Z) - Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。
この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。
提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文 参考訳(メタデータ) (2021-09-27T15:04:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。