論文の概要: Brain-to-Text Benchmark '24: Lessons Learned

• arxiv url: http://arxiv.org/abs/2412.17227v1
• Date: Mon, 23 Dec 2024 02:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:57.768600
• Title: Brain-to-Text Benchmark '24: Lessons Learned
• Title（参考訳）: Brain-to-Text Benchmark '24:学んだこと
• Authors: Francis R. Willett, Jingyuan Li, Trung Le, Chaofei Fan, Mingfei Chen, Eli Shlizerman, Yue Chen, Xin Zheng, Tatsuo S. Okubo, Tyler Benster, Hyun Dong Lee, Maxwell Kounga, E. Kelly Buchanan, David Zoltowski, Scott W. Linderman, Jaimie M. Henderson,
• Abstract要約: 音声脳とコンピュータのインターフェイスは、人が神経活動だけで何を言おうとしているのかを解読することを目的としている。 Brain-to-Text Benchmark '24は、ニューラルアクティビティをテキストに変換するデコードアルゴリズムの進歩を促進する。 このベンチマークは、ブレイン・トゥ・テキスト・アルゴリズムの精度向上に向けたさらなる取り組みを支援するために、無期限に公開される。
• 参考スコア（独自算出の注目度）: 30.41641771704316
• License:
• Abstract: Speech brain-computer interfaces aim to decipher what a person is trying to say from neural activity alone, restoring communication to people with paralysis who have lost the ability to speak intelligibly. The Brain-to-Text Benchmark '24 and associated competition was created to foster the advancement of decoding algorithms that convert neural activity to text. Here, we summarize the lessons learned from the competition ending on June 1, 2024 (the top 4 entrants also presented their experiences in a recorded webinar). The largest improvements in accuracy were achieved using an ensembling approach, where the output of multiple independent decoders was merged using a fine-tuned large language model (an approach used by all 3 top entrants). Performance gains were also found by improving how the baseline recurrent neural network (RNN) model was trained, including by optimizing learning rate scheduling and by using a diphone training objective. Improving upon the model architecture itself proved more difficult, however, with attempts to use deep state space models or transformers not yet appearing to offer a benefit over the RNN baseline. The benchmark will remain open indefinitely to support further work towards increasing the accuracy of brain-to-text algorithms.
• Abstract（参考訳）: 音声脳とコンピュータのインタフェースは、神経活動だけで何を言おうとしているのかを解読することを目的としており、麻痺を持つ人々とコミュニケーションを回復することを目的としている。 Brain-to-Text Benchmark '24と関連するコンペティションは、ニューラルアクティビティをテキストに変換するデコードアルゴリズムの進歩を促進するために作成された。 ここでは、2024年6月1日に終了したコンペから学んだ教訓を要約する。 精度の最大の改善は、複数の独立デコーダの出力を微調整された大言語モデル(トップ3の参加者すべてで使用されるアプローチ)でマージする、アンサンブルアプローチ(enmbling approach)を用いて達成された。 また、学習率スケジューリングの最適化や、ダイフォントレーニングの目的を用いて、ベースラインリカレントニューラルネットワーク(RNN)モデルのトレーニング方法を改善することで、パフォーマンスの向上も見出された。 しかし、モデルアーキテクチャ自体の改善はより困難であることが判明し、ディープステートスペースモデルやトランスフォーマーを使用しようとする試みは、RNNベースラインよりもメリットがあるようには見えなかった。 このベンチマークは、ブレイン・トゥ・テキスト・アルゴリズムの精度向上に向けたさらなる取り組みを支援するために、無期限に公開される。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Employing Hybrid Deep Neural Networks on Dari Speech [0.0]
  本稿では,Mel- frequency cepstral coefficients (MFCCs) 特徴抽出法を用いて,Dari言語における個々の単語の認識に焦点を当てる。 我々は、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、多層パーセプトロン(MLP)の3つの異なるディープニューラルネットワークモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-04T23:10:53Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• On Addressing Practical Challenges for RNN-Transduce [72.72132048437751]
  オーディオデータを収集することなく、よく訓練されたRNN-Tモデルを新しいドメインに適応します。 復号時に計算された複数の特徴を利用して単語レベルの信頼度を求める。 提案手法では,平均で50ms以下の単語のタイミング差が得られる。
  論文  参考訳（メタデータ） (2021-04-27T23:31:43Z)
• Human Sentence Processing: Recurrence or Attention? [3.834032293147498]
  最近導入されたTransformerアーキテクチャは、多くの自然言語処理タスクにおいてRNNよりも優れています。 本研究では,トランスフォーマーとRNNをベースとした言語モデルを用いて,人間の読取力を計測する能力の比較を行った。
  論文  参考訳（メタデータ） (2020-05-19T14:17:49Z)
• Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition [58.105818353866354]
  本稿では,言語バイアスを考慮したリカレントニューラルネットワークトランスデューサ(RNN-T)モデルを提案する。 我々は、CSの点を予測するためにモデルにバイアスを与えるために、言語アイデンティティを使用する。 これにより、言語識別情報を転写から直接学習するモデルが促進され、追加のLIDモデルが不要になる。
  論文  参考訳（メタデータ） (2020-02-19T12:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。