論文の概要: Adapting Transformer Language Models for Predictive Typing in Brain-Computer Interfaces

• arxiv url: http://arxiv.org/abs/2305.03819v1
• Date: Fri, 5 May 2023 19:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 19:22:33.007487
• Title: Adapting Transformer Language Models for Predictive Typing in Brain-Computer Interfaces
• Title（参考訳）: 脳-コンピュータインタフェースにおける予測型付けのためのトランスフォーマー言語モデルの適用
• Authors: Shijia Liu, David A. Smith
• Abstract要約: 本稿では,複数のワードピースレベルのトランスフォーマーLMを用いて文字予測を行い,入力タスクで評価する。 GPT-2はクリーンテキストで一番良いが、異なるLMはノイズの多い歴史に対して異なる反応をする。
• 参考スコア（独自算出の注目度）: 3.3961243538813837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-computer interfaces (BCI) are an important mode of alternative and augmentative communication for many people. Unlike keyboards, many BCI systems do not display even the 26 letters of English at one time, let alone all the symbols in more complex systems. Using language models to make character-level predictions, therefore, can greatly speed up BCI typing (Ghosh and Kristensson, 2017). While most existing BCI systems employ character n-gram models or no LM at all, this paper adapts several wordpiece-level Transformer LMs to make character predictions and evaluates them on typing tasks. GPT-2 fares best on clean text, but different LMs react differently to noisy histories. We further analyze the effect of character positions in a word and context lengths.
• Abstract（参考訳）: 脳コンピュータインタフェース(BCI)は、多くの人々にとって、代替および拡張的なコミュニケーションの重要なモードである。 キーボードとは異なり、多くのbciシステムは1度に26文字の英語も表示しない。 言語モデルを使って文字レベルの予測を行うと、BCIタイピングが大幅に高速化される(Ghosh and Kristensson, 2017)。 既存のBCIシステムでは文字n-gramモデルやLMを全く採用していないが,本論文では複数のワードピースレベルのトランスフォーマーLMを用いて文字予測を行い,入力タスクで評価する。 gpt-2はクリーンテキストに最適だが、異なるlmsはノイズの多い履歴と異なる反応をする。 さらに,単語の文字位置と文脈長の影響について分析する。

関連論文リスト

• American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM [0.0]
  アメリカ手話(American Sign Language)は、手話の一つ。 ニューラルマシン翻訳技術の開発は手話翻訳に向けて進んでいる。 Transformerは自然言語処理の最先端となった。
  論文  参考訳（メタデータ） (2024-09-17T04:00:33Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  視覚エンコーダとマルチモーダル大言語モデル(MLLM)の整合性に着目した既存手法 そこで本研究では,テキストガイダンスを用いて視覚的トークンアライメントを言語レベルで促進する新しい手法であるParrotを紹介する。 本手法は,多言語MMBenchおよびMMMB上での最先端性能を示すだけでなく,多モーダルタスクにも優れる。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Online Gesture Recognition using Transformer and Natural Language Processing [0.0]
  トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。 トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-05T10:17:22Z)
• Alternative Input Signals Ease Transfer in Multilingual Machine Translation [21.088829932208945]
  我々は、異なる筆記システムを統合する代替信号でトレーニングデータを増強することで、転送の抑制に取り組む。 我々はこれらのシグナルを、言語が共通の特徴を共有している2つの言語族であるインディク語とテュルク語でテストする。
  論文  参考訳（メタデータ） (2021-10-15T01:56:46Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Neural Machine Translation for Multilingual Grapheme-to-Phoneme Conversion [13.543705472805431]
  複数の言語で同じエンコーダとデコーダを共有する単一エンドツーエンドのニューラルネットワークG2Pモデルを提案する。 その結果,低リソース言語に対する音素誤り率の平均は7.2%向上し,単言語ベースラインと比較して高いリソースエラー率が得られなかった。
  論文  参考訳（メタデータ） (2020-06-25T06:16:29Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。