論文の概要: iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding

• arxiv url: http://arxiv.org/abs/2604.16441v1
• Date: Tue, 07 Apr 2026 05:08:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.003779
• Title: iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding
• Title（参考訳）: iPhoneme: ConformerXLデコードを用いたALSのための脳とテキストのコミュニケーション
• Authors: Yoonmin Cha, Dawit Chun, Sung Park,
• Abstract要約: ALS患者のための脳とテキストのコミュニケーションシステム iPhoneme について述べる。 このシステムは、深層学習音素デコーダと、視線支援音素入力インタフェースを組み合わせる。 インタラクションの面では、iPhonemeは、居住時間選択を代替するコード付きガウン+サイレント音声パラダイムを導入している。
• 参考スコア（独自算出の注目度）: 1.529342790344802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-computer interfaces (BCIs) for speech restoration hold transformative potential for the approximately 173,000--232,500 individuals worldwide with ALS-related dysarthria. Despite recent progress, high-performance speech BCIs have been demonstrated in only 22--31 patients globally, largely due to limitations in neural decoding accuracy and practical input interfaces. We present iPhoneme, a brain-to-text communication system that jointly addresses these challenges through integrated modeling and interaction design. The system combines a deep learning phoneme decoder based on a modified Conformer architecture (ConformerXL, 192.9M parameters) with a gaze-assisted phoneme input interface that mitigates the Midas touch problem in eye-tracking systems. The acoustic model incorporates a temporal prenet with multi-scale dilated convolutions and bidirectional GRU for neural jitter correction, temporal subsampling for CTC stability, and Pre-RMSNorm stabilization across 12 encoder blocks, trained with AdamW and cosine scheduling. On the interaction side, iPhoneme introduces a chorded gaze-plus-silent-speech paradigm that replaces dwell-time selection, enabling more efficient input. We evaluate the system on the T15 dataset (45 sessions, 8,071 trials) of 256-channel intracranial EEG from speech motor cortex regions. A 6-gram phoneme language model trained on 3.1M sequences, combined with WFST beam search (beam=128), achieves 92.14% phoneme accuracy (7.86% PER) and 73.39% word accuracy (26.61% WER), approximately 3% above prior state-of-the-art. The system operates on CPU with 180 ms latency, demonstrating real-time, high-accuracy brain-to-text communication for ALS.
• Abstract（参考訳）: 音声復元のための脳-コンピュータインタフェース(BCI)は、約173,000-232,500人のALS関連性変形を伴う患者に対してトランスフォーメーションの可能性を秘めている。 近年の進歩にも拘わらず,22-31例のみに,脳神経復号精度の限界や実用的な入力インタフェースが原因で,高性能音声BCIが実証されている。 我々は,これらの課題を統合モデリングとインタラクション設計を通じて共同で解決する,脳とテキストのコミュニケーションシステムであるiPhonemeを提案する。 このシステムは、修正されたConformerアーキテクチャ(ConformerXL, 192.9Mパラメータ)に基づく深層学習音素デコーダと、視線追跡システムにおけるMidasタッチ問題を緩和する視線支援音素入力インタフェースを組み合わせる。 音響モデルは、多スケールの拡張畳み込みと、ニューラルジッタ補正のための双方向GRU、CTC安定性のためのテンポラルサブサンプリング、およびAdamWとコサインスケジューリングで訓練された12のエンコーダブロックにわたるプレRMSNorm安定化を含む。 インタラクションの面では、iPhonemeは、より効率的な入力を可能にし、居住時間選択を置き換える、コード付きガウン+サイレント音声パラダイムを導入している。 音声運動野領域の256チャンネル脳波のT15データセット(45セッション,8,071試験)について検討した。 3.1Mシーケンスで訓練された6グラムの音素言語モデルとWFSTビームサーチ(ビーム=128)を組み合わせると、92.14%の音素精度(7.86% PER)と73.39%の単語精度(26.61% WER)が得られる。 このシステムは180ミリ秒のレイテンシでCPU上で動作し、ALSのためのリアルタイムで高精度なブレイン・トゥ・テキスト通信を実証する。

関連論文リスト

• The Talking Robot: Distortion-Robust Acoustic Models for Robot-Robot Communication [6.356219992638542]
  Artooは、ロボットのための学習された音響通信システムである。 ハンドデザインの信号処理をエンドツーエンドのコトレーニングニューラルネットワークに置き換える。
  論文  参考訳（メタデータ） (2026-03-07T07:06:41Z)
• Decoding inner speech with an end-to-end brain-to-text neural interface [33.17572163528015]
  音声脳-コンピュータインタフェース(BCI)は、神経活動をテキストに翻訳することで麻痺のある人々のコミュニケーションを回復することを目的としている。 本稿では、単一微分可能なニューラルネットワークを用いて、ニューラルネットワークをコヒーレントな文に変換する、エンドツーエンドのBrain-to-Textフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:25:54Z)
• Low-Latency Neural Inference on an Edge Device for Real-Time Handwriting Recognition from EEG Signals [1.0383582379105902]
  想像上の手書きは、文字レベルのニューラルデコーディングに直感的なパラダイムを提供する。 非侵襲脳波(EEG)はより安全でスケーラブルな代替手段を提供するが、低信号対雑音比と空間分解能に悩まされている。 この研究は、高度な機械学習と情報的脳波特徴抽出を組み合わせることで、これらの障壁を克服できることを実証している。
  論文  参考訳（メタデータ） (2025-10-07T21:20:50Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• A Cross-Modal Approach to Silent Speech with LLM-Enhanced Recognition [0.0]
  サイレント音声インタフェース(SSI)は、無音音声通信のための脳-コンピュータインタフェースの非侵襲的な代替手段を提供する。 我々は,マルチモーダル・ニューラル・オーディオ(MONA)を導入し,多モーダル・アライメントを利用した多モーダル・モデルの学習を行う。 我々の知る限りでは、オープンボキャブラリ上の非侵襲的無声音声認識が15% WERの閾値をクリアした最初の事例である。
  論文  参考訳（メタデータ） (2024-03-02T21:15:24Z)
• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition [57.15942628305797]
  調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。 本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。 クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
  論文  参考訳（メタデータ） (2022-03-19T08:47:18Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Real-time Speaker counting in a cocktail party scenario using Attention-guided Convolutional Neural Network [60.99112031408449]
  重なり合う音声におけるアクティブ話者数を推定するために,CNN(Real-time, Single-channel attention-guided Convolutional Neural Network)を提案する。 提案システムは,CNNモデルを用いて音声スペクトルから高レベル情報を抽出する。 WSJコーパスを用いた重畳音声のシミュレーション実験により,従来の時間平均プーリングに比べて,注意解がほぼ3%向上することが示されている。
  論文  参考訳（メタデータ） (2021-10-30T19:24:57Z)
• Sequential End-to-End Intent and Slot Label Classification and Localization [2.1684857243537334]
  エンドツーエンド(e2e)の音声言語理解(SLU)ソリューションが最近提案されている。 本稿では,音声信号のチャンクを連続処理して意図とスロット値を予測する,ストリーミングシナリオのためのコンパクトなe2e SLUアーキテクチャを提案する。 その結果,CTC 98.97 %,CTL 98.78 % に到達した音声信号の処理能力が得られた。
  論文  参考訳（メタデータ） (2021-06-08T19:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。