論文の概要: Neuron-Guided Fine-Tuning: Unlocking Efficient Alignment Mechanisms for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.05913v1
• Date: Sat, 05 Sep 2026 06:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:20:34.319268
• Title: Neuron-Guided Fine-Tuning: Unlocking Efficient Alignment Mechanisms for Large Language Models
• Title（参考訳）: ニューロン誘導ファインチューニング:大規模言語モデルにおける効率的なアライメント機構の解錠
• Abstract要約: 既存のSupervised Fine-Tuningパラダイムは、パラメータ冗長性、一貫性のないデータ品質、破滅的な忘れによって悩まされることが多い。 我々は、ニューロン活性化パターンを普遍的なプロキシとして活用し、微調整ライフサイクルを統一する全体的枠組みであるNGFT(Neuron-Guided Fine-Tuning)を提案する。
• 参考スコア（独自算出の注目度）: 73.88918843965155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing Supervised Fine-Tuning paradigms, particularly Full Parameter Fine-Tuning are often plagued by parameter redundancy, inconsistent data quality, and catastrophic forgetting, which current methods typically address in isolation and lack a unified optimization signal to bridge data selection, parameter updates, and knowledge preservation. To address this, we propose Neuron-Guided Fine-Tuning (NGFT), a holistic framework that leverages neuron activation patterns as a universal proxy to unify the fine-tuning lifecycle. NGFT operates via three synergistic mechanisms: (1) Adaptive Task-Specific Neuron Selection, which identifies essential neurons in a single forward pass to concentrate updates and reduce redundancy; (2) Activation-Based Data Selection, which prioritizes information-dense samples that maximize contribution to key neurons; and (3) Neuron Activation Alignment, a novel loss function that anchors activations to pre-trained states, deepening representation learning and preserving general knowledge. Experimental results across three models across both domain-specific and general benchmarks demonstrate that NGFT significantly outperforms existing mainstream fine-tuning methods in both efficiency and performance, while effectively mitigating catastrophic forgetting.
• Abstract（参考訳）: 既存のSupervised Fine-Tuningパラダイム、特にFull Parameter Fine-Tuningは、パラメータの冗長性、一貫性のないデータ品質、破滅的な忘れ方に悩まされがちである。 これを解決するために,ニューロン活性化パターンを普遍的なプロキシとして活用し,微調整ライフサイクルを統一する総合的なフレームワークであるNGFT(Neuron-Guided Fine-Tuning)を提案する。 NGFTは,(1)単一前方パスにおける必須ニューロンを識別し,更新に集中して冗長性を低下させる適応的タスク特異的ニューロン選択,(2)重要なニューロンへの寄与を最大化する情報密度サンプルを優先するアクティベーションベースデータ選択,(3)事前訓練された状態へのアクティベーションを固定し,表現学習の深化と一般知識の保存を行う新規な喪失機能であるニューロン活性化アライメント,の3つの相乗的メカニズムを介して機能する。 ドメイン固有および一般ベンチマークの3つのモデルにまたがる実験結果から、NGFTは既存の主流の微調整法を効率と性能の両方で著しく上回り、破滅的な忘れを効果的に軽減することを示した。

関連論文リスト

• General Self-Prediction Enhancement for Spiking Neurons [71.01912385372577]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算によって非常にエネルギー効率が良いが、そのトレーニングは、性能、効率、生物学的妥当性の非微分可能性とトレードオフによって困難である。 本稿では,その入力出力履歴から内部予測電流を生成し,膜電位を変調する自己予測強化スパイキングニューロン法を提案する。 この設計には2つの利点があり、失明した勾配を緩和し、トレーニングの安定性と精度を高める連続的な勾配経路を作成し、また遠位樹状突起変調とエラー駆動のシナプス塑性に類似した生物学的原理と整合する。
  論文  参考訳（メタデータ） (2026-01-29T15:08:48Z)
• NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning [18.1179807699825]
  NeuroAdaは、高メモリ効率を維持しながらきめ細かなモデル微調整を可能にする新しいPEFT法である。 NeuroAdaは、トレーニング可能なパラメータをわずか$leq0.02%で実現し、メモリ使用量を最大60%削減できることを示す。
  論文  参考訳（メタデータ） (2025-10-21T17:59:24Z)
• Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
  大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
  論文  参考訳（メタデータ） (2025-07-12T08:10:10Z)
• TMN: A Lightweight Neuron Model for Efficient Nonlinear Spike Representation [7.524721345903027]
  スパイク・トレインはスパイク・ニューラル・ネットワークにおける情報伝達の主要な媒体である。 スパイク数やタイミングに基づく既存の符号化スキームは、しばしば低ステップの制約の下で厳しい制限に直面している。 本稿では,2つの重要なイノベーションを特徴とする新しいニューロンモデルであるTernary Momentum Neuron (TMN)を提案する。
  論文  参考訳（メタデータ） (2024-08-30T12:39:25Z)
• Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
  大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。 最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。 我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
  論文  参考訳（メタデータ） (2024-03-18T09:55:01Z)
• Predicting Infant Brain Connectivity with Federated Multi-Trajectory GNNs using Scarce Data [54.55126643084341]
  既存のディープラーニングソリューションには,3つの大きな制限がある。 我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。 フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
  論文  参考訳（メタデータ） (2024-01-01T10:20:01Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Bayesian optimization for sparse neural networks with trainable activation functions [0.0]
  パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。 モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
  論文  参考訳（メタデータ） (2023-04-10T08:44:44Z)
• Multi-Objective Optimisation of Cortical Spiking Neural Networks With Genetic Algorithms [0.7995360025953929]
  スパイキングニューラルネットワーク(SNN)は、ニューロンのオール・オア・ノー・スパイキング活動を通じて通信する。 遺伝的アルゴリズム(GA)を効率的なSNNモデルに最適化する以前の研究は、単一のパラメータと目的に限られていた。 この研究は、Non-dominated sorting GA (NSGA-III) と呼ばれるGAのバージョンを適用し、同じSNN上で多目的最適化を行う可能性を示した。
  論文  参考訳（メタデータ） (2021-05-14T13:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。