論文の概要: Teaching neural decoders with language

• arxiv url: http://arxiv.org/abs/2610.12921v1
• Date: Fri, 09 Oct 2026 03:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.369267
• Title: Teaching neural decoders with language
• Title（参考訳）: 言語によるニューラルデコーダの教育
• Abstract要約: 本稿では,言語・アズ・スーパービジョン(Language as Supervision, LaS)を提案する。 LaSは一致したCLSベースラインに対して最大17.15ppの音声復号精度を向上する。
• 参考スコア（独自算出の注目度）: 14.06707353357703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain-computer interfaces decode neural activity, yet class-label supervision (CLS) leaves relationships among classes implicit. We propose Language as Supervision (LaS), which aligns neural features with natural-language class descriptions through learned projections and predicts classes using candidate text prototypes. We evaluate seven encoder architectures with independently trained models for visual, motor, and speech decoding from scalp and intracranial recordings. LaS improves speech-decoding accuracy by up to 17.15~pp over matched CLS baselines. Its representations support candidate-set reuse and label-supervised subject and session adaptation, while LaS enables conditional unseen-frequency decoding in steady-state visual evoked potential (SSVEP) responses. Correct class-description correspondence supports this generalization, and dual-sided attribution visualization shows neural and textual contributions to the same class-matching score. These findings suggest that text descriptions can serve as general-purpose references for learning and interpretation in neural decoding.
• Abstract（参考訳）: 脳-コンピュータインタフェースは神経活動をデコードするが、クラス-ラベル監視(CLS)はクラス間の関係を暗黙的に残す。 本稿では,学習したプロジェクションを通じてニューラル特徴と自然言語のクラス記述を一致させる言語・アズ・スーパービジョン(Language as Supervision, LaS)を提案し,候補テキストのプロトタイプを用いてクラスを予測する。 頭皮および頭蓋内記録からの視覚・運動・音声復号を独立に訓練したモデルを用いた7つのエンコーダアーキテクチャの評価を行った。 LaSは一致したCLSベースラインに対して最大17.15〜ppの音声復号精度を向上させる。 LaSは定常的視覚誘発電位(SSVEP)応答における条件付き未確認周波数復号を可能にする。 正しいクラス記述対応は、この一般化をサポートし、デュアルサイドの属性視覚化は、同じクラスマッチングスコアに対する神経的およびテキスト的寄与を示す。 これらの結果から, テキスト記述は神経復号における学習と解釈の汎用的参照として機能することが示唆された。

関連論文リスト

• From Neurons to Conversation: Speech Brain-Computer Interfaces [0.9381376621526817]
  音声脳-コンピュータインタフェース(BCI)は、音声、言語、またはコミュニケーション意図に関連する神経活動から、テキスト、合成音声、アバター制御などの外部出力に変換することによって、コミュニケーションを回復することを目的としている。 近年, 皮質内および皮質内記録, ディープシーケンスモデル, 言語モデル支援復号法が進歩し, 急速に進歩している。 これらの成果は、音声BCIが単にニューラル・トゥ・テキスト・デコーダではないことも明らかにしている。それらは、ニューラル表現、記録ハードウェア、デコードアーキテクチャ、言語優先、フィードバック、ユーザー学習が時間とともに対話する適応型臨床システムである。
  論文  参考訳（メタデータ） (2026-09-29T05:10:57Z)
• Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond [35.38839213611872]
  脳から言語への復号(Brain-to-Language Decoding)は、言語に関連する神経活動を言語的または表現的な出力に変換する。 言語喪失後のコミュニケーションを回復するための経路と、脳が言語をどのように表現するかを研究する手段を提供する。 このサーベイは、侵襲的および非侵襲的な測定における発達を総合的に分析する。
  論文  参考訳（メタデータ） (2026-09-23T10:14:47Z)
• sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment [8.466223794246261]
  本稿では,凍結したCLIPモデルの文埋め込み空間に単射ステレオ脳波信号(sEEG)を投影するコントラスト学習フレームワークであるSSENSEを提案する。 本手法は,自然主義映画視聴データセットから,時系列のsEEGと音声の書き起こしについて評価する。
  論文  参考訳（メタデータ） (2025-04-20T03:01:42Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• Controlled Caption Generation for Images Through Adversarial Attacks [85.66266989600572]
  画像特徴抽出には畳み込みニューラルネットワーク(CNN)、キャプション生成にはリカレントニューラルネットワーク(RNN)が使用される。 特に、その後の再帰的ネットワークに供給される視覚エンコーダの隠蔽層に対する攻撃について検討する。 本稿では、CNNの内部表現を模倣したニューラルネットワークキャプションの逆例を作成するためのGANベースのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-07T07:22:41Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。