Fugu-MT 論文翻訳(概要): Pruning Large Language Models by Identifying and Preserving Functional Networks

論文の概要: Pruning Large Language Models by Identifying and Preserving Functional Networks

arxiv url: http://arxiv.org/abs/2508.05239v1
Date: Thu, 07 Aug 2025 10:27:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.815912
Title: Pruning Large Language Models by Identifying and Preserving Functional Networks
Title（参考訳）: 関数型ネットワークの同定と保存による大規模言語モデルの抽出
Authors: Yiheng Liu, Junhao Ning, Sichen Xia, Xiaohui Gao, Ning Qiang, Bao Ge, Junwei Han, Xintao Hu,
Abstract要約: 構造化プルーニング(Structured pruning)は、大きな言語モデル(LLM)を圧縮してGPUメモリの消費を減らし、推論速度を高速化する技術である。ほとんどの構造化プルーニング法は、LLMの機能に不可欠な人工ニューロン間の相互作用と協調を見落としている。人工ニューラルネットワークと人間の脳における機能的ニューラルネットワークの固有の類似性から着想を得て,機能的ネットワークを同定・保存し,LLMを創出することを提案する。
参考スコア（独自算出の注目度）: 41.601762545495255
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Structured pruning is one of the representative techniques for compressing large language models (LLMs) to reduce GPU memory consumption and accelerate inference speed. It offers significant practical value in improving the efficiency of LLMs in real-world applications. Current structured pruning methods typically rely on assessment of the importance of the structure units and pruning the units with less importance. Most of them overlooks the interaction and collaboration among artificial neurons that are crucial for the functionalities of LLMs, leading to a disruption in the macro functional architecture of LLMs and consequently a pruning performance degradation. Inspired by the inherent similarities between artificial neural networks and functional neural networks in the human brain, we alleviate this challenge and propose to prune LLMs by identifying and preserving functional networks within LLMs in this study. To achieve this, we treat an LLM as a digital brain and decompose the LLM into functional networks, analogous to identifying functional brain networks in neuroimaging data. Afterwards, an LLM is pruned by preserving the key neurons within these functional networks. Experimental results demonstrate that the proposed method can successfully identify and locate functional networks and key neurons in LLMs, enabling efficient model pruning. Our code is available at https://github.com/WhatAboutMyStar/LLM_ACTIVATION.
Abstract（参考訳）: 構造化プルーニング(Structured pruning)は、GPUメモリの消費を減らし、推論速度を高速化するために、大規模言語モデル(LLM)を圧縮する代表的な手法の1つである。現実世界のアプリケーションにおけるLLMの効率性を改善する上で、非常に実用的な価値を提供する。現在の構造化プルーニング法は、通常、構造単位の重要性の評価と、あまり重要でないユニットのプルーニングに依存している。それらの多くは、LLMの機能に不可欠な人工ニューロン間の相互作用と協調を見落とし、LLMのマクロ機能アーキテクチャが破壊され、結果として性能が低下する。人工ニューラルネットワークと人間の脳における機能的ニューラルネットワークの類似性から着想を得て、我々はこの課題を緩和し、LLM内の機能的ネットワークを特定し保存することでLLMを創り出すことを提案する。これを実現するために、LLMをデジタル脳として扱い、LLMを神経画像データ中の機能的脳ネットワークと類似した機能的ネットワークに分解する。その後、LLMはこれらの機能ネットワーク内のキーニューロンを保存することによって切断される。実験により,LLMにおける機能的ネットワークとキーニューロンの同定と同定に成功し,効率的なモデルプルーニングを可能にした。私たちのコードはhttps://github.com/WhatAboutMyStar/LLM_ACTIVATIONで利用可能です。

関連論文リスト

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
論文参考訳（メタデータ） (2025-06-12T05:25:35Z)
MoLe-VLA: Dynamic Layer-skipping Vision Language Action Model via Mixture-of-Layers for Efficient Robot Manipulation [24.200547898713126]
MLLM(Multimodal Large Language Models)は、複雑な言語と視覚的データの理解に優れる。彼らの実世界の展開は、相当な計算とストレージの需要によって妨げられている。動的LDM層活性化のためのMixture-of-Layers Vision-Language-Action Model (MoLe) アーキテクチャを提案する。
論文参考訳（メタデータ） (2025-03-26T10:05:38Z)
Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models [53.91412558475662]
我々は,大言語モデル(LLM)における機能的ネットワークの探索と同定のために,機能的ニューロイメージング解析の分野における機能的ニューロイメージングと類似した手法を用いる。実験の結果、人間の脳と同様、LLMは手術中に頻繁に再帰する機能的ネットワークを含んでいることが明らかとなった。主要な機能的ネットワークのマスキングはモデルの性能を著しく損なう一方、サブセットだけを保持することは効果的な操作を維持するのに十分である。
論文参考訳（メタデータ） (2025-02-13T04:42:39Z)
Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
論文参考訳（メタデータ） (2024-10-24T08:20:10Z)
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文参考訳（メタデータ） (2024-08-17T11:49:53Z)
FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-15T16:45:16Z)
Dissecting Language Models: Machine Unlearning via Selective Pruning [0.7373617024876725]
本稿では,大規模言語モデル(LLM)に特化して設計された機械学習手法を提案する。我々は,LLMの選択的プルーニング法を導入し,ネットワーク全体の性能と比較して,標的能力に対するニューロンの重要性から神経細胞を除去する。 LLMのフィードフォワードニューロンとアテンションニューロンはどちらも専門的であり、特定のタスクにおいては、特定のニューロンは他のニューロンよりも重要である。
論文参考訳（メタデータ） (2024-03-02T17:10:44Z)
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文参考訳（メタデータ） (2024-02-06T08:45:51Z)
NetLLM: Adapting Large Language Models for Networking [36.61572542761661]
我々は,ネットワーク問題を解決するために低努力でLLMの強力な能力を活用するためのコヒーレントな設計を提供する最初のフレームワークであるNetLLMを紹介する。具体的には、NetLLMはLLMにネットワーク上のマルチモーダルデータを効果的に処理し、タスク固有の回答を効率的に生成する権限を与える。
論文参考訳（メタデータ） (2024-02-04T04:21:34Z)
Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
論文参考訳（メタデータ） (2024-01-31T08:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。