論文の概要: Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models

• arxiv url: http://arxiv.org/abs/2507.09185v1
• Date: Sat, 12 Jul 2025 08:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.665197
• Title: Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける顕著だが有害なニューロンの検出と解析
• Authors: Ameen Ali, Shahar Katz, Lior Wolf, Ivan Titov,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。 本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。 本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
• 参考スコア（独自算出の注目度）: 68.57424628540907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often develop learned mechanisms specialized to specific datasets, such as reliance on domain-specific correlations, which yield high-confidence predictions without generalizable reasoning. While beneficial in one setting, these dataset-specific mechanisms typically degrade performance when models encounter novel tasks or distributions. In this work, we introduce a fine-tuning approach designed to enhance generalization by identifying and pruning neurons associated with dataset-specific mechanisms in transformer-based LLMs. Our method employs Integrated Gradients to quantify each neuron's influence on high-confidence predictions, pinpointing those that disproportionately contribute to dataset-specific performance without supporting robust, transferable reasoning. Selectively pruning these neurons compels the model to depend on generalizable representations. Evaluated across multiple-choice benchmarks, our pruning-based fine-tuning significantly enhances performance, surpassing prior (non-pruning) adaptation methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ドメイン固有の相関に依存するなど、特定のデータセットに特化した学習メカニズムを開発することが多い。 1つの設定で有益であるが、これらのデータセット固有のメカニズムは、モデルが新しいタスクや分散に遭遇したとき、通常、パフォーマンスを低下させる。 本研究では,変換器を用いたLLMにおいて,データセット特異的な機構に関連するニューロンを同定し,解析することにより,一般化を促進するための微調整手法を提案する。 本手法では, 高信頼度予測に対するニューロンの影響を定量化するために, 頑健で伝達可能な推論をサポートすることなく, データセット固有の性能に不均等に寄与するニューロンを同定する。 これらのニューロンを選択的に切断することは、一般化可能な表現に依存するようにモデルを補完する。 複数選択のベンチマークで評価すると、プルーニングに基づく微調整は性能を著しく向上させ、以前の(非プルーニング)適応法を上回ります。

関連論文リスト

• Information-theoretic Quantification of High-order Feature Effects in Classification Problems [0.19791587637442676]
  特徴重要度(Hi-Fi)法における高次相互作用の情報理論拡張について述べる。 私たちのフレームワークは、機能のコントリビューションをユニークでシナジスティックで冗長なコンポーネントに分解します。 その結果,提案した推定器は理論的および予測された結果を正確に復元することがわかった。
  論文  参考訳（メタデータ） (2025-07-06T11:50:30Z)
• Single Domain Generalization with Model-aware Parametric Batch-wise Mixup [22.709796153794507]
  単一ドメインの一般化は、マシンラーニングの分野において、依然として深刻な課題である。 本稿では,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(Parametric Batch-wise Mixup)と呼ばれる新しいデータ拡張手法を提案する。 機能間相関を利用することで、パラメータ化されたミックスアップジェネレータは、複数のインスタンスにまたがる機能の組み合わせにおいて、さらなる汎用性を導入する。
  論文  参考訳（メタデータ） (2025-02-22T03:45:18Z)
• Regularized Neural Ensemblers [55.15643209328513]
  本研究では,正規化ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ランダムにベースモデル予測をドロップすることで,アンサンブルモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性の低い境界を提供し、過度な適合を減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Subject-specific Deep Neural Networks for Count Data with High-cardinality Categorical Features [1.2289361708127877]
  本稿では,ポアソンディープニューラルネットワークにガンマランダム効果を導入するための新しい階層的確率学習フレームワークを提案する。 提案手法は,固定パラメータの最大極大推定器とランダム効果の最適非バイアス予測器を同時に生成する。 最先端のネットワークアーキテクチャは、提案されたh-likelihoodフレームワークに容易に実装できる。
  論文  参考訳（メタデータ） (2023-10-18T01:54:48Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Supervised Autoencoders Learn Robust Joint Factor Models of Neural Activity [2.8402080392117752]
  神経科学の応用は、行動結果とともに異なる領域の脳活動に対応する高次元予測因子を収集する。 予測因子と結果の結合因子モデルは自然であるが、これらのモデルの最大推定値は、モデルが不特定である場合に実際に苦労することがある。 本稿では,教師付きオートエンコーダに基づく代替推論手法を提案する。潜在因子に確率分布を配置するのではなく,高次元予測器の未知関数として定義する。
  論文  参考訳（メタデータ） (2020-04-10T19:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。