論文の概要: Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

• arxiv url: http://arxiv.org/abs/2610.26802v1
• Date: Mon, 19 Oct 2026 17:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:16:57.426689
• Title: Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
• Title（参考訳）: 脳のエンコーディングのためのパラメーター効率の良いファインチューニング
• Abstract要約: パラメータ効率のよい微調整(PEFT)により、脳のコード化のために非常に大きなトレーニング済みのバックボーンを効果的に適応できることを示す。 我々は、バックボーンの因果構造を利用して、スライドウィンドウを使わずに、1回のパスで複数のタイムポイントを予測する。 我々のアプローチは、9つの多様なマルチモーダルバックボーンにおける脳の符号化性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 3.553263523463522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain encoding models aim to predict neural responses to stimuli. The most widely used approach fits readouts from frozen pretrained backbones. Using neural data to train large models from scratch or fully fine-tune them after task-pretraining has proven difficult because neural data is costly and limited. We show that parameter-efficient fine-tuning (PEFT) enables us to effectively adapt very large pretrained backbones for brain encoding with a small number of trainable parameters. To make it computationally practical, we exploit the backbone's causal structure to predict multiple timepoints in a single pass instead of using sliding windows, significantly reducing feature-extraction cost. This enables efficient fine-tuning of multimodal backbones with up to 104B parameters, the largest model adapted for brain encoding to our knowledge. Trained with a low-rank adapter (LoRA) and a lightweight readout, our approach consistently improves brain encoding performance across nine diverse multimodal backbones. On the same Qwen3-Omni backbone as the prior state-of-the-art (SoTA), our method BrainLoRA achieves the best published performance on the Algonauts 2025 Challenge. We also show the adapted multimodal backbones remain interpretable: modality attribution recovers the canonical sensory topography that prior work often obtains by construction from separate unimodal encoders, and neural adaptation increases the contribution of audio inputs and cross-modal mixing within the backbone. To scale out the number of adapted models, we develop a multi-LoRA kernel that accelerates joint training of multiple LoRAs on a shared backbone. This enables an ensemble of 200+ adapted models that ranks first on the public Algonauts post-challenge leaderboard at the time of writing. Together, our results highlight PEFT as an efficient and powerful paradigm for brain encoding.
• Abstract（参考訳）: 脳のエンコーディングモデルは刺激に対する神経反応を予測することを目的としている。 最も広く使われているアプローチは、凍結した後骨からの読み出しに適合する。 ニューラルデータを使用して、大きなモデルをスクラッチからトレーニングしたり、タスク前訓練後に完全に微調整したりするのは難しい。 パラメータ効率のよい微調整(PEFT)により、少数のトレーニング可能なパラメータで、非常に大きなトレーニング済みのバックボーンを脳エンコーディングに効果的に適用できることを示す。 計算機的に実用化するために、バックボーンの因果構造を利用して、スライディングウィンドウを使わずに1回のパスで複数のタイムポイントを予測し、特徴抽出コストを大幅に削減する。 これにより、最大104Bパラメータを持つマルチモーダルバックボーンの効率的な微調整が可能になる。 低ランクアダプタ(LoRA)と軽量リードアウトを併用した本手法では,9種類の多モードバックボーンの脳符号化性能を一貫して向上する。 従来の最先端技術(SoTA)と同じQwen3-Omniバックボーンでは、BrainLoRAがAlgonauts 2025 Challengeで最高のパフォーマンスを達成しています。 適応されたマルチモーダルバックボーンは解釈可能なままであり, モータリティ属性は, 先行研究が単独のアンコーダからしばしば得られる正準感覚トポグラフィーを回復し, ニューラル適応は, バックボーン内のオーディオ入力とクロスモーダルミキシングの寄与を増大させる。 適応モデルの数をスケールアウトするために,共有バックボーン上で複数のLoRAの協調訓練を高速化するマルチLoRAカーネルを開発した。 これにより200以上のモデルが組み合わされ、執筆時点ではAlgonautsのポストチャレンゲリーダーボードにランクインした。 その結果,PEFTは脳のエンコーディングにおいて,効率的かつ強力なパラダイムであることがわかった。

関連論文リスト

• Do Speech BCIs Need Larger Models? Rethinking Neural Decoding beyond Scaling [20.392157428564776]
  BEST(Brain-oriented intermediate-Speech-Text)は、効率的なニューラル・トゥ・テキスト・デコーディングのための2段階のフレームワークである。 ワードエラー率(WER)はそれぞれ6.19%と1.62%で、同等の手法で要求されるパラメータの3.85%しか使っていない。
  論文  参考訳（メタデータ） (2026-10-16T09:12:58Z)
• A Multimodal Seq2Seq Transformer for Predicting Brain Responses to Naturalistic Stimuli [0.0]
  Algonauts 2025 Challengeは、自然主義的なマルチモーダル映画に対する全脳のfMRI反応を予測するエンコーディングモデルを開発するようコミュニティに呼びかけた。 本稿では,視覚,聴覚,言語入力からfMRI活動を自動的に予測するシーケンス・ツー・シーケンス・トランスフォーマを提案する。
  論文  参考訳（メタデータ） (2025-07-24T05:29:37Z)
• Reparameterized LLM Training via Orthogonal Equivalence Transformation [54.80172809738605]
  直交同値変換を用いてニューロンを最適化する新しいトレーニングアルゴリズムPOETを提案する。 POETは、目的関数を安定して最適化し、一般化を改善する。 我々は、大規模ニューラルネットワークのトレーニングにおいて、POETを柔軟かつスケーラブルにするための効率的な近似を開発する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:34Z)
• Scaling up ridge regression for brain encoding in a massive individual fMRI dataset [1.740992908651449]
  本稿では,リッジ回帰を伴う脳エンコーディングの訓練時間を短縮するために,異なる並列化手法を評価する。 マルチスレッドでは、Intel Math Kernel Library (MKL) がOpenBLASライブラリを著しく上回っている。 本稿では,時間複雑性解析に動機づけられたDask並列化の"バッチ"バージョンを提案する。
  論文  参考訳（メタデータ） (2024-03-28T13:52:12Z)
• WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
  WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。 この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。