論文の概要: A Sparsity Predicting Approach for Large Language Models via Activation Pattern Clustering
- arxiv url: http://arxiv.org/abs/2507.14179v1
- Date: Fri, 11 Jul 2025 19:07:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-27 08:26:15.945862
- Title: A Sparsity Predicting Approach for Large Language Models via Activation Pattern Clustering
- Title（参考訳）: アクティベーション・パターン・クラスタリングによる大規模言語モデルの空間性予測手法
- Authors: Nobel Dhar, Bobin Deng, Md Romyull Islam, Xinyue Zhang, Kazi Fahim Ahmad Nasif, Kun Suo,
- Abstract要約: LLM(Large Language Models)は、特定の入力に対してニューロンのサブセットのみがアクティブである、大きな活性化間隔を示す。
ニューロンレベルでの直接予測は、現代のLSMの膨大な数のニューロンのために計算的に高価である。
本稿では,クラスタリングに基づくアクティベーションパターン圧縮フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.485125799252057
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Large Language Models (LLMs) exhibit significant activation sparsity, where only a subset of neurons are active for a given input. Although this sparsity presents opportunities to reduce computational cost, efficiently utilizing it requires predicting activation patterns in a scalable manner. However, direct prediction at the neuron level is computationally expensive due to the vast number of neurons in modern LLMs. To enable efficient prediction and utilization of activation sparsity, we propose a clustering-based activation pattern compression framework. Instead of treating each neuron independently, we group similar activation patterns into a small set of representative clusters. Our method achieves up to 79.34% clustering precision, outperforming standard binary clustering approaches while maintaining minimal degradation in perplexity (PPL) scores. With a sufficiently large number of clusters, our approach attains a PPL score as low as 12.49, demonstrating its effectiveness in preserving model quality while reducing computational overhead. By predicting cluster assignments rather than individual neuron states, future models can efficiently infer activation patterns from pre-computed centroids. We detail the clustering algorithm, analyze its effectiveness in capturing meaningful activation structures, and demonstrate its potential to improve sparse computation efficiency. This clustering-based formulation serves as a foundation for future work on activation pattern prediction, paving the way for efficient inference in large-scale language models.
- Abstract（参考訳）: LLM(Large Language Models)は、特定の入力に対してニューロンのサブセットのみがアクティブである、大きな活性化間隔を示す。
この分散性は計算コストを削減する機会を提供するが、効率的に利用するにはスケーラブルな方法でアクティベーションパターンを予測する必要がある。
しかし、現在のLSMでは膨大な数のニューロンがあるため、ニューロンレベルでの直接予測は計算的に高価である。
そこで本研究では,クラスタリングに基づくアクティベーションパターン圧縮フレームワークを提案する。
個々のニューロンを独立に扱う代わりに、同様の活性化パターンを代表クラスターの小さなセットにまとめる。
提案手法は, 最大79.34%のクラスタリング精度を実現し, パープレキシティ (PPL) スコアの最小化を維持しつつ, 標準的なバイナリクラスタリング手法より優れていた。
クラスタ数が十分に多く,PPLスコアが12.49まで低下し,計算オーバーヘッドを低減しつつ,モデル品質の維持に有効であることを示す。
個々のニューロン状態ではなく、クラスタ割り当てを予測することで、将来のモデルは、事前に計算されたセントロイドから活性化パターンを効率的に推測することができる。
クラスタリングアルゴリズムを詳述し、意味のあるアクティベーション構造を捉える上での有効性を分析し、スパース計算効率を向上させる可能性を実証する。
このクラスタリングに基づく定式化は、アクティベーションパターンの予測に関する将来の研究の基盤となり、大規模言語モデルにおける効率的な推論の道を開いた。
関連論文リスト
- SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。
トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文 参考訳（メタデータ） (2025-08-07T03:50:48Z) - An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。
既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。
短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。
さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
論文 参考訳（メタデータ） (2025-07-18T10:07:42Z) - Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization [4.39139858370436]
本稿では,自己教師付き事前学習モデルと潜在特徴分布最適化に基づく画像クラスタリングアルゴリズムを提案する。
我々の手法は最新のクラスタリングアルゴリズムより優れ、最先端のクラスタリング結果が得られる。
論文 参考訳（メタデータ） (2024-08-04T04:08:21Z) - Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。
SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。
視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
論文 参考訳（メタデータ） (2024-05-22T04:49:00Z) - GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳（メタデータ） (2024-04-14T01:51:11Z) - Nonlinear subspace clustering by functional link neural networks [20.972039615938193]
フィードフォワードニューラルネットワークに基づくサブスペースクラスタリングは、いくつかの高度なサブスペースクラスタリングアルゴリズムよりも優れたクラスタリング精度を提供することを示した。
我々は,データサンプルを非線形領域に変換するために,関数型リンクニューラルネットワークを用いる。
本稿では,線形サブスペースクラスタリング手法と関数型リンクニューラルネットワークサブスペースクラスタリング手法を組み合わせた凸結合サブスペースクラスタリング手法を提案する。
論文 参考訳（メタデータ） (2024-02-03T06:01:21Z) - Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳（メタデータ） (2023-12-20T06:25:02Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Revisiting Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [69.15976031704687]
IAC (Instance-Adaptive Clustering, インスタンス適応クラスタリング) を提案する。
IACは$ MathcalO(n, textpolylog(n) $の計算複雑性を維持しており、大規模問題に対してスケーラブルで実用的なものである。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。
現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。
この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。
実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
論文 参考訳（メタデータ） (2023-04-06T03:14:15Z) - Dynamic Clustering and Cluster Contrastive Learning for Unsupervised
Person Re-identification [29.167783500369442]
教師なしRe-ID手法は、ラベルのないデータから堅牢で差別的な特徴を学習することを目的としている。
本稿では,動的クラスタリングとクラスタコントラスト学習(DCCC)手法を提案する。
提案したDCCCの有効性を検証するために, 広く利用されている複数の公開データセットの実験を行った。
論文 参考訳（メタデータ） (2023-03-13T01:56:53Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。