論文の概要: The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline

• arxiv url: http://arxiv.org/abs/2607.12079v1
• Date: Mon, 13 Jul 2026 18:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.937175
• Title: The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline
• Title（参考訳）: 思考能力:セマンティックfMRIにおけるLlama 3.2のベンチマークとハス符号化モデルベースラインの改良
• Abstract要約: We improve the Huth et al. ridge regression encoding pipeline through expanded voxel selection。 凍結したLlama-3.2-1BにBOLD活性をマッピングするfMRIFlamingoを紹介する。 1-in-100のランキングタスクで42.86%の精度でトップ-1を達成したが、確率ははるかに上回ったが、fMRI入力がゼロのブラインドコントロールアブレーションは、ほぼ同一のスコアを得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding continuous language from fMRI signals remains a core challenge in non-invasive brain-computer interface research. We present two complementary investigations. First, we improve the Huth et al. ridge regression encoding pipeline through expanded voxel selection (10K->15K), substitution of GPT-2 medium for GPT-1 as the beam-search proposal model, and GPU-accelerated bootstrap training, achieving mean METEOR = 0.149 and BLEU-1 = 0.200 across three held-out narratives for subject UTS03 -- an 11% relative METEOR gain over our replication baseline. Second, we introduce fMRIFlamingo, which maps BOLD activity to a frozen Llama-3.2-1B with trainable gated cross-attention layers via a learned brain tokenizer and a Perceiver Resampler. Despite achieving 42.86% Top-1 accuracy on a 1-in-100 ranking task, well above chance, a blind control ablation with zeroed fMRI inputs yields near-identical scores, revealing that apparent decoding success is driven primarily by the frozen language prior rather than by neural input. These results demonstrate that high-capacity language models do not inherently improve fMRI decoding and can actively obscure failures without rigorous blind-control evaluation.
• Abstract（参考訳）: fMRI信号から連続言語を復号することは、非侵襲的な脳-コンピュータインタフェースの研究において、依然として重要な課題である。 我々は2つの補完的な調査を行う。 まず、拡張ボクセル選択(10K->15K)、GPT-1用GPT-2媒体のビーム探索提案モデルへの置換、平均METEOR = 0.149 と BLEU-1 = 0.200 を達成する平均 METEOR = 0.149 と BLEU-1 = 0.200 のブートストラップトレーニングにより、Hut et al ridgeレグレッション符号化パイプラインを改善した。 第二に、fMRIFlamingoは、学習された脳トークン化剤とPerceiver Resamplerを介して、トレーニング可能なゲート横断層を持つ凍結したLlama-3.2-1BにBOLD活性をマッピングする。 1-in-100のランキングタスクで42.86%の精度を達成したにもかかわらず、偶然にも、ゼロのfMRI入力によるブラインドコントロールアブレーションは、ほぼ同一のスコアを得る。 これらの結果は、高容量言語モデルが本質的にfMRIデコードを改善しておらず、厳密なブラインドコントロール評価を行なわずに失敗を積極的に隠蔽することを示した。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• U-VLM: Hierarchical Vision Language Modeling for Report Generation [20.09433657986766]
  トレーニングとアーキテクチャの両方において階層型視覚言語モデリングを可能にするU-VLMを提案する。 U-VLMはCT-RATEとAbdomenAtlas 3.0で、スクラッチからトレーニングされた0.1Bデコーダのみを使用して、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-28T05:43:11Z)
• BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [48.20672677492805]
  現在のEEG/MEG-to-textデコーディングシステムには3つの重要な制限がある。 BrainECHOは、分離された表現学習を利用する多段階フレームワークである。 BrainECHOは文、セッション、主題に依存しない条件をまたいだ堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-19T04:29:03Z)
• Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• MAD: Multi-Alignment MEG-to-Text Decoding [21.155031900491654]
  本稿では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。 我々は、$textitGWilliams$データセットのBLEU-1スコアを著しく達成し、BLEU-1メトリックのベースラインを5.49から10.44に大幅に上回った。
  論文  参考訳（メタデータ） (2024-06-03T16:43:10Z)
• Utilizing Machine Learning and 3D Neuroimaging to Predict Hearing Loss: A Comparative Analysis of Dimensionality Reduction and Regression Techniques [0.0]
  我々は,脳の灰白質3次元画像における難聴閾値を予測するための機械学習アプローチについて検討した。 第1フェーズでは,3次元CNNモデルを用いて,遅延空間への高次元入力を低減した。 第2フェーズでは、このモデルを使用して、リッチな機能への入力を削減した。
  論文  参考訳（メタデータ） (2024-04-30T18:39:41Z)
• NeuSpeech: Decode Neural signal as Speech [21.155031900491654]
  音声復号化における脳からテキストへのMEG信号の変換について検討する。 BLEU-1スコアは60.30点,52.89点であり,教師力の事前訓練は行わない。
  論文  参考訳（メタデータ） (2024-03-04T05:55:01Z)
• Deep Representation Learning for Open Vocabulary Electroencephalography-to-Text Decoding [6.014363449216054]
  神経科学に現代的な表現型学習アプローチをもたらす非侵襲的な脳記録のためのエンドツーエンドのディープラーニングフレームワークを提案する。 BLEU-1スコアは42.75%,ROUGE-1-F33.28%,BERTScore-F53.86%で,それぞれ3.38%,8.43%,6.31%であった。
  論文  参考訳（メタデータ） (2023-11-15T08:03:09Z)
• Weakly supervised segmentation of intracranial aneurysms using a novel 3D focal modulation UNet [0.5106162890866905]
  本稿では,新しい3次元焦点変調UNetであるFocalSegNetを提案する。 UIA検出では偽陽性率は0.21で感度は0.80であった。
  論文  参考訳（メタデータ） (2023-08-06T03:28:08Z)
• Audio-Visual Efficient Conformer for Robust Speech Recognition [91.3755431537592]
  本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。 実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
  論文  参考訳（メタデータ） (2023-01-04T05:36:56Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
  現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。 フェースフォージェリ検出に高周波雑音を用いることを提案する。 1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。 2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
  論文  参考訳（メタデータ） (2021-03-23T08:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。