論文の概要: SAN: Hypothesizing Long-Term Synaptic Development and Neural Engram Mechanism in Scalable Model's Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2409.06706v2
• Date: Fri, 31 Jan 2025 12:25:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:00:15.484860
• Title: SAN: Hypothesizing Long-Term Synaptic Development and Neural Engram Mechanism in Scalable Model's Parameter-Efficient Fine-Tuning
• Title（参考訳）: SAN: スケーラブルモデルのパラメータ効率の良いファインチューニングにおける長期シナプス発達とニューラルエングラム機構の仮説化
• Authors: Gaole Dai, Chun-Kai Fan, Yiming Tang, Zhi Zhang, Yuan Zhang, Yulu Gan, Qizhe Zhang, Cheng-Ching Tseng, Shanghang Zhang, Tiejun Huang,
• Abstract要約: 我々は、事前学習パラメータ空間の洗練された解析により、FFT(Full Fine-Tuning)による性能ギャップを橋渡しした。 本稿では,前方から後方へのスケーリング成分を分解するSynapse and Neuron(SAN)を提案する。 本研究のアプローチは,神経伝達物質放出によるシナプス発生を制御する長期増強/抑うつ/D現象に理論的に基礎を置いている。
• 参考スコア（独自算出の注目度）: 39.04674956382538
• License:
• Abstract: Advances in Parameter-Efficient Fine-Tuning (PEFT) bridged the performance gap with Full Fine-Tuning (FFT) through sophisticated analysis of pre-trained parameter spaces. Starting from drawing insights from Neural Engrams (NE) in Biological Neural Networks (BNNs), we establish a connection between the low-rank property observed during PEFT's parameter space shifting and neurobiological mechanisms. This observation leads to our proposed method, Synapse and Neuron (SAN), which decomposes and propagates scaling components from anterior feature adjusting vectors towards posterior weight matrices. Our approach is theoretically grounded in Long-Term Potentiation/Depression (LTP/D) phenomena, which govern synapse development through neurotransmitter release modulation. Extensive experiments demonstrate its effectiveness: on \textbf{vision tasks} across VTAB, FGVC, and GIC (25 datasets) using ViT, SwinT and ConvNeXt, SAN outperforms FFT up to 8.7% and LoRA by 3.2%; on language tasks using Commonsense Reasoning (8 datasets) with LLaMA models (all generations), surpassing ChatGPT up to 8.5% and LoRA by 4.7%; on visual-language tasks using Mixed Visual Instruction (7 datasets) with LLaVA models, it exceeds FFT up to 2.4% and LoRA by 1.9%. Our code and W&B log will be released in https://github.com/daviddaiiiii/SAN-PEFT
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)の進歩は、事前訓練されたパラメータ空間の洗練された解析を通じて、完全なファインチューニング(FFT)による性能ギャップを橋渡しした。 生体神経ネットワーク(BNN)におけるニューラル・エングラム(NE)の知見から始め,PEFTのパラメータ空間シフト時に観測される低ランク特性と神経生物学的メカニズムの関連性を確立する。 提案手法であるSynapse and Neuron(SAN)は,前部特徴調整ベクトルから後部重量行列へのスケーリング成分の分解と伝播を行う。 本手法は, 神経伝達物質放出調節によるシナプス発生を制御しているLTP/D(Long-Term Potentiation/Depression)現象に理論的に基礎を置いている。 VTAB、FGVC、GIC(25データセット)でVT、SwinT、ConvNeXtを使用する場合、SANはFFTを最大8.7%、LoRAを3.2%、LLaMAモデル(全世代)でCommonsense Reasoning(8データセット)を使用して言語タスクを最大8.5%、LoRAを4.7%、LLaVAモデルで混合ビジュアル命令(7データセット)を使ったビジュアル言語タスクを最大2.4%、LoRAを最大1.9%上回る。 私たちのコードとW&Bログはhttps://github.com/daviddaiiiii/SAN-PEFTで公開されます。

関連論文リスト

• rule4ml: An Open-Source Tool for Resource Utilization and Latency Estimation for ML Models on FPGA [0.0]
  本稿では、FPGA上での合成と実装に先立って、ニューラルネットワーク(NN)のリソース利用と推論遅延を予測する新しい手法を提案する。 NNを高レベル合成(HLS)コードに変換するツールフローであるHLS4MLを活用している。 本手法では, 即時前合成予測に適応した回帰モデルを用いる。
  論文  参考訳（メタデータ） (2024-08-09T19:35:10Z)
• Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
  本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
  論文  参考訳（メタデータ） (2024-06-14T03:39:01Z)
• Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
  大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。 最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。 我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
  論文  参考訳（メタデータ） (2024-03-18T09:55:01Z)
• Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance in Spiking Neural Networks [1.52292571922932]
  スパイキングニューラルネットワーク(SNN)は、ハードウェアで慎重に活用することで、膨大なエネルギー効率の恩恵をもたらすことができる。 この研究は、トレーニングがハードウェアのパフォーマンスに与える影響に関する新たな洞察を明らかにします。
  論文  参考訳（メタデータ） (2024-02-09T06:38:12Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription [73.66530509749305]
  本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。 CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。 RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
  論文  参考訳（メタデータ） (2020-04-22T19:08:33Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。