論文の概要: NeuroLoRA: Context-Aware Neuromodulation for Parameter-Efficient Multi-Task Adaptation
- arxiv url: http://arxiv.org/abs/2603.12378v1
- Date: Thu, 12 Mar 2026 18:57:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.731206
- Title: NeuroLoRA: Context-Aware Neuromodulation for Parameter-Efficient Multi-Task Adaptation
- Title（参考訳）: NeuroLoRA:パラメータ効率の良いマルチタスク適応のためのコンテキスト認識型ニューロ変調
- Authors: Yuxin Yang, Haoran Zhang, Mingxuan Li, Jiachen Xu, Ruoxi Shen, Zhenyu Wang, Tianhao Liu, Siqi Chen, Weilin Huang,
- Abstract要約: Low-Rank Adaptation (LoRA)は、下流タスクにLarge Language Models (LLM)を適用するために欠かせないものとなっている。
最近のFlyLoRAフレームワークは、バイオインスパイアされたスパースランダムプロジェクションを利用してパラメータ干渉を緩和する。
生体神経調節に触発された新しいMixture-of-Experts(MoE)ベースのLoRAフレームワークであるNeuroLoRAを提案する。
NeuroLoRAは、シングルタスク適応、マルチタスクモデルのマージ、シーケンシャルな連続学習シナリオにおいて、FlyLoRAや他の強力なベースラインを一貫して上回る。
- 参考スコア（独自算出の注目度）: 23.036082606498564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-Efficient Fine-Tuning (PEFT) techniques, particularly Low-Rank Adaptation (LoRA), have become essential for adapting Large Language Models (LLMs) to downstream tasks. While the recent FlyLoRA framework successfully leverages bio-inspired sparse random projections to mitigate parameter interference, it relies on a static, magnitude-based routing mechanism that is agnostic to input context. In this paper, we propose NeuroLoRA, a novel Mixture-of-Experts (MoE) based LoRA framework inspired by biological neuromodulation -- the dynamic regulation of neuronal excitability based on context. NeuroLoRA retains the computational efficiency of frozen random projections while introducing a lightweight, learnable neuromodulation gate that contextually rescales the projection space prior to expert selection. We further propose a Contrastive Orthogonality Loss to explicitly enforce separation between expert subspaces, enhancing both task decoupling and continual learning capacity. Extensive experiments on MMLU, GSM8K, and ScienceQA demonstrate that NeuroLoRA consistently outperforms FlyLoRA and other strong baselines across single-task adaptation, multi-task model merging, and sequential continual learning scenarios, while maintaining comparable parameter efficiency.
- Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)技術、特にローランド適応(LoRA)は、下流タスクにLarge Language Models(LLM)を適用する上で欠かせないものとなっている。
最近のFlyLoRAフレームワークは、バイオインスパイアされたスパースランダムプロジェクションをうまく利用してパラメータ干渉を緩和するが、入力コンテキストに依存しない静的なマグニチュードベースのルーティング機構に依存している。
本稿では,生体神経調節にインスパイアされた新しいMixture-of-Experts(MoE)ベースのLoRAフレームワークであるNeuroLoRAを提案する。
NeuroLoRAは、専門家の選択の前にプロジェクション空間を文脈的に再スケールする軽量で学習可能なニューロ変調ゲートを導入しながら、凍結ランダムプロジェクションの計算効率を保っている。
さらに、専門家のサブスペース間の分離を明示的に実施し、タスク疎結合と連続学習能力の両立を図るために、コントラスト直交損失を提案する。
MMLU、GSM8K、ScienceQAの広範な実験により、NeuroLoRAはFlyLoRAや他の強力なベースラインを一貫して上回り、単一タスク適応、マルチタスクモデルマージ、逐次連続学習のシナリオで上回り、パラメータ効率は同等である。
関連論文リスト
- Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。
LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。
その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
論文 参考訳（メタデータ） (2026-02-22T06:04:05Z) - NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning [0.0]
我々は,動的潜在グラフ学習とLarge Language Models (LLM) を用いた選択状態空間時間モデルを統合するエンドツーエンドフレームワークであるNeuroMambaLLMを提案する。
提案手法は生の血液酸素レベル依存(BOLD)時系列から動的に機能接続を学習し,固定された相関グラフを適応的な潜在接続に置き換えると共に,動作関連アーティファクトの抑制と長距離時間依存性のキャプチャを行う。
この設計により、LLMは診断分類と言語に基づく推論の両方を実行でき、ダイナミックなfMRIパターンを分析し、臨床的に意味のあるテキストレポートを生成することができる。
論文 参考訳（メタデータ） (2026-02-14T13:32:59Z) - Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering [50.63386303357225]
本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。
AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。
10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-01-27T17:53:01Z) - Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。
本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。
NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
論文 参考訳（メタデータ） (2025-10-19T14:23:35Z) - Dendritic Resonate-and-Fire Neuron for Effective and Efficient Long Sequence Modeling [66.0841376808143]
樹状共振器(RF)ニューロンは入力信号から効率的に周波数を抽出し、スパイク列車に符号化することができる。
RFニューロンは、複雑なタスクにおけるエネルギー効率とトレーニング速度のトレードオフとして、有効なメモリ容量が限られている。
本稿では,複数の共振器とソマアーキテクチャを明示的に組み込んだDdendritic Resonate-and-Fireモデルを提案する。
論文 参考訳（メタデータ） (2025-09-21T18:15:45Z) - Bridging Foundation Models and Efficient Architectures: A Modular Brain Imaging Framework with Local Masking and Pretrained Representation Learning [7.591083752535149]
ファンデーションモデル(FM)の原則を効率よくドメイン固有のアーキテクチャと統合するモジュラーフレームワークを提案する。
平均絶対誤差は, 年齢予測では5.343, 流体知能では2.940, ピアソン相関係数は0.928, 0.887であった。
この研究は、LLMに基づくfMRI分析のアプローチに代わる堅牢で解釈可能な代替手段を提供し、脳の老化と認知機能に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2025-08-09T08:06:01Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
ニューロモルフィックハードウェア上のニューラルネットワークは、非喫煙者よりも消費電力の少ないオーダーを約束する。
このようなシステム上でのスパイクベースの計算のための標準的なニューロンモデルは、長い間、統合と火災(LIF)ニューロンであった。
いわゆるアダプティブLIFニューロンの根源はよく分かっていない。
論文 参考訳（メタデータ） (2024-08-14T12:49:58Z) - Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。
最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。
我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
論文 参考訳（メタデータ） (2024-03-18T09:55:01Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。