論文の概要: A Pre-trained Framework for Multilingual Brain Decoding Using Non-invasive Recordings

• arxiv url: http://arxiv.org/abs/2506.03214v1
• Date: Tue, 03 Jun 2025 04:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:13.954168
• Title: A Pre-trained Framework for Multilingual Brain Decoding Using Non-invasive Recordings
• Title（参考訳）: 非侵襲的記録を用いた多言語脳復号のための事前学習フレームワーク
• Authors: Yi Guo, Yihang Dong, Michael Kwok-Po Ng, Shuqiang Wang,
• Abstract要約: 本稿では,多言語,多目的,多モーダルなデコーディングフレームワークを提案する。 様々な脳記録を、事前訓練された多言語モデルによって定義された統一意味空間にマッピングする。 提案するフレームワークは,BCIアプリケーションにおいて,表現不足の言語に不可欠な言語フェアネスを促進することができる。
• 参考スコア（独自算出の注目度）: 9.11230353886722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain-computer interfaces (BCIs) with speech decoding from brain recordings have broad application potential in fields such as clinical rehabilitation and cognitive neuroscience. However, current decoding methods remain limited to single-language, single-subject, and single neuroimaging modality settings, restricting their clinical applicability and generalizability. Here we propose a joint multilingual, multi-subject and multimodal decoding framework. It maps diverse brain recordings into a unified semantic space defined by a pre-trained multilingual model (PMM), enabling decoding across multiple languages, multiple subjects and multiple neuroimaging modalities. The proposed framework is validated using non-invasive brain recordings from 159 participants across four languages. Experimental results show that it exhibits strong generalization across multilingual, multi-subject, and multimodal settings. More importantly, the proposed framework can promote linguistic fairness, which is vital for underrepresented languages in BCI applications. The unified semantic space enables cross-lingual mapping enhancement, allowing the framework to boost the decoding performance of underrepresented languages, thereby promoting linguistic fairness. Overall, the proposed framework establishes a new potential paradigm for brain decoding, opening new paths for broader applications of BCI.
• Abstract（参考訳）: 脳-コンピュータインタフェース(BCI)と脳記録からの音声復号は、臨床リハビリテーションや認知神経科学などの分野に広く応用できる可能性がある。 しかし、現在の復号法は単言語、単目的、単一ニューロイメージングのモダリティ設定に限られており、臨床応用性や一般化性は制限されている。 本稿では,多言語,多目的,マルチモーダルなデコーディングフレームワークを提案する。 様々な脳記録を、事前訓練された多言語モデル(PMM)によって定義された統一意味空間にマッピングし、複数の言語、複数の主題、複数のニューロイメージングモダリティのデコードを可能にする。 提案手法は, 4言語にまたがる159人の被験者の非侵襲的脳記録を用いて検証した。 実験の結果,多言語,多目的,多モーダル設定にまたがる強い一般化が示された。 さらに重要なこととして,提案フレームワークは,BCIアプリケーションにおける表現不足言語に不可欠な言語フェアネスを促進することができる。 統合された意味空間は、言語間マッピングの強化を可能にし、フレームワークは、未表現言語の復号化性能を高め、言語的公平性を促進する。 全体として、提案されたフレームワークは、脳のデコードのための新しいパラダイムを確立し、BCIの幅広い応用のための新しいパスを開く。

関連論文リスト

• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Coherent Language Reconstruction from Brain Recordings with Flexible Multi-Modal Input Stimuli [5.589479682782169]
  脳の活動から思考を復号することは、人間の認知に関する貴重な洞察を与え、脳とコンピュータの相互作用において有望な応用を可能にする。 本稿では,多様な入力モダリティによって引き起こされた脳記録からコヒーレント言語を再構築するための統一的で柔軟なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T14:46:45Z)
• Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
  異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロン(LAFN)と呼ばれる共有ニューロンの集合を活性化する。 これらのニューロンは言語間で共有されるのと同じ事実知識を表しており、多言語知識間の意味的関連を示唆している。 言語非依存のFactual Neurons(LU-LAFN)を位置決め・更新することで,多言語知識を同時に編集する新しいMKE法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:06:56Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。