論文の概要: NeuGPT: Unified multi-modal Neural GPT

• arxiv url: http://arxiv.org/abs/2410.20916v1
• Date: Mon, 28 Oct 2024 10:53:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:26.531949
• Title: NeuGPT: Unified multi-modal Neural GPT
• Title（参考訳）: NeuGPT: 統一マルチモーダルニューラルGPT
• Authors: Yiqian Yang, Yiqun Duan, Hyejeong Jo, Qiang Zhang, Renjing Xu, Oiwi Parker Jones, Xuming Hu, Chin-teng Lin, Hui Xiong,
• Abstract要約: NeuGPTは、ニューラルネットワーク研究の断片化された風景を調和させるために設計された、画期的なマルチモーダル言語生成モデルである。 我々のモデルは主に脳からテキストへのデコーディングに焦点をあて、BLEU-1では6.94から12.92に、ROUGE-1Fでは6.93から13.06に改善した。 また、脳の信号をシミュレートし、新しい神経インターフェースとして機能する。
• 参考スコア（独自算出の注目度）: 48.70587003475798
• License:
• Abstract: This paper introduces NeuGPT, a groundbreaking multi-modal language generation model designed to harmonize the fragmented landscape of neural recording research. Traditionally, studies in the field have been compartmentalized by signal type, with EEG, MEG, ECoG, SEEG, fMRI, and fNIRS data being analyzed in isolation. Recognizing the untapped potential for cross-pollination and the adaptability of neural signals across varying experimental conditions, we set out to develop a unified model capable of interfacing with multiple modalities. Drawing inspiration from the success of pre-trained large models in NLP, computer vision, and speech processing, NeuGPT is architected to process a diverse array of neural recordings and interact with speech and text data. Our model mainly focus on brain-to-text decoding, improving SOTA from 6.94 to 12.92 on BLEU-1 and 6.93 to 13.06 on ROUGE-1F. It can also simulate brain signals, thereby serving as a novel neural interface. Code is available at \href{https://github.com/NeuSpeech/NeuGPT}{NeuSpeech/NeuGPT (https://github.com/NeuSpeech/NeuGPT) .}
• Abstract（参考訳）: 本稿では,ニューラル記録研究の断片化された景観を調和させるために設計された,画期的なマルチモーダル言語生成モデルであるNeuGPTを紹介する。 伝統的に、脳波、MEG、ECoG、SEEG、fMRI、fNIRSデータは分離して分析されている。 そこで我々は,様々な実験条件において,クロスポリン化の未解決電位とニューラル信号の適応性を認識し,複数のモダリティと対面可能な統一モデルを構築した。 NLP、コンピュータビジョン、音声処理における事前訓練済みの大規模モデルの成功から着想を得たNeuGPTは、多様なニューラル記録を処理し、音声やテキストデータと対話するように設計されている。 我々のモデルは主に脳からテキストへのデコーディングに焦点をあて、BLEU-1では6.94から12.92に、ROUGE-1Fでは6.93から13.06に改善した。 また、脳の信号をシミュレートし、新しい神経インターフェースとして機能する。 コードは \href{https://github.com/NeuSpeech/NeuGPT}{NeuSpeech/NeuGPT (https://github.com/NeuSpeech/NeuGPT) で公開されている。 ※

関連論文リスト

• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• ConvConcatNet: a deep convolutional neural network to reconstruct mel spectrogram from the EEG [10.564488010303988]
  本研究は,脳波からメログラムを再構成する新しい手法であるConvConcatNetを提案する。 ConvConcatNetモデルでは、再構成されたメル-スペクトログラムとピアソンの相関が0.0420に達する。
  論文  参考訳（メタデータ） (2024-01-10T07:15:45Z)
• MAMI: Multi-Attentional Mutual-Information for Long Sequence Neuron Captioning [1.7243216387069678]
  ニューロンラベリング(英: Neuron labeling)は、あるニューロンの振る舞いを可視化し、あるパターンに反応してニューロンを活性化するアプローチである。 以前の研究、すなわちMILANは、エンコーダのShow、 Attend、Tell(SAT)モデルを使用してニューロンの振る舞いを可視化し、デコーダにBahdanauが注目されたLSTMを追加した。 本研究では,異なる種類の注意機構を活用することでMILANの性能をさらに向上し,さらにいくつかの注意結果を付加したいと考えている。
  論文  参考訳（メタデータ） (2024-01-05T10:41:55Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• OverFlow: Putting flows on top of neural transducers for better TTS [9.346907121576258]
  ニューラルHMMは、最近テキストから音声へのシーケンスモデリングのために提案されたニューラルトランスデューサの一種である。 本稿では,ニューラルHMM TTSと正規化流を組み合わせた音声音響の非ガウス分布を記述する。
  論文  参考訳（メタデータ） (2022-11-13T12:53:05Z)
• Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation [46.825957917649795]
  手話 (SL) は聴覚障害者の母語であり、ほとんどの人が理解できない特別な視覚言語である。 動的グラフに基づくマルチモーダル特徴融合を用いたニューラルSLTモデルを提案する。 我々はまず,マルチモーダル情報を融合したグラフニューラルネットワークをニューラルネットワーク翻訳モデルに導入した。
  論文  参考訳（メタデータ） (2022-11-01T15:26:22Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。