論文の概要: MI-PRUN: Optimize Large Language Model Pruning via Mutual Information

• arxiv url: http://arxiv.org/abs/2601.07212v1
• Date: Mon, 12 Jan 2026 05:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.222052
• Title: MI-PRUN: Optimize Large Language Model Pruning via Mutual Information
• Title（参考訳）: MI-PRUN:相互情報による大規模言語モデルプルーニングの最適化
• Authors: Hao Zhang, Zhibin Zhang, Guangxin Wu, He Chen, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 大規模言語モデルのための相互情報に基づくプルーニング手法MI-PRUNを提案する。 隠れ状態の遷移を評価することによって、相互情報を利用して冗長なブロックを識別する。 また,ブロックの組み合わせを反復的に更新し,グローバルな最適解を実現するFast-Block-Selectアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 73.6518842907835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become indispensable across various domains, but this comes at the cost of substantial computational and memory resources. Model pruning addresses this by removing redundant components from models. In particular, block pruning can achieve significant compression and inference acceleration. However, existing block pruning methods are often unstable and struggle to attain globally optimal solutions. In this paper, we propose a mutual information based pruning method MI-PRUN for LLMs. Specifically, we leverages mutual information to identify redundant blocks by evaluating transitions in hidden states. Additionally, we incorporate the Data Processing Inequality (DPI) to reveal the relationship between the importance of entire contiguous blocks and that of individual blocks. Moreover, we develop the Fast-Block-Select algorithm, which iteratively updates block combinations to achieve a globally optimal solution while significantly improving the efficiency. Extensive experiments across various models and datasets demonstrate the stability and effectiveness of our method.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で必要不可欠なものとなっているが、これはかなりの計算とメモリ資源のコストがかかる。 モデルプルーニングは、モデルから冗長なコンポーネントを取り除くことで、この問題に対処する。 特に、ブロックプルーニングは、大幅な圧縮と推論の加速を達成することができる。 しかし、既存のブロックプルーニング法はしばしば不安定であり、グローバルな最適解を得るのに苦労する。 本稿では,LLMにおける相互情報を用いたMI-PRUN法を提案する。 具体的には、隠れ状態の遷移を評価することによって、相互情報を利用して冗長なブロックを識別する。 さらに、データ処理の不等式(DPI)を組み込んで、連続ブロックの重要性と個々のブロックの重要性の関係を明らかにする。 さらに,ブロックの組み合わせを反復的に更新してグローバルな最適解を実現するとともに,効率を大幅に向上するFast-Block-Selectアルゴリズムを開発した。 各種モデルおよびデータセットにわたる広範囲な実験により,本手法の安定性と有効性を示す。

関連論文リスト

• Blockwise Flow Matching: Improving Flow Matching Models For Efficient High-Quality Generation [33.177998521195114]
  フローマッチングモデルは、幅広い領域にわたる高忠実性データ生成の境界を押し上げている。 生成軌道を複数の時間セグメントに分割する新しいフレームワークであるBlockwise Flow Matching (BFM)を提案する。 BFMは2.1倍から4.9倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-24T05:41:23Z)
• FMIP: Joint Continuous-Integer Flow For Mixed-Integer Linear Programming [52.52020895303244]
  Mixed-Integer Linear Programming (MILP)は、複雑な意思決定問題の基本的なツールである。 混合整数線形計画法(FMIP)のための連立連続整数フローを提案する。これはMILPソリューションにおける整数変数と連続変数の共分散をモデル化する最初の生成フレームワークである。 FMIPは任意のバックボーンネットワークや様々なダウンストリームソルバと完全に互換性があり、現実世界のMILPアプリケーションにも適している。
  論文  参考訳（メタデータ） (2025-07-31T10:03:30Z)
• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• MILP-StuDio: MILP Instance Generation via Block Structure Decomposition [55.79888361191114]
  Mixed-integer linear programming (MILP) は、多くの応用において最も一般的な数学的定式化の1つである。 我々は,ブロック構造を保存して高品質なインスタンスを生成するために,ブロック構造分解(MILP-StuDio)と呼ばれる新しいMILP生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-30T08:33:27Z)
• MOLA: Enhancing Industrial Process Monitoring Using Multi-Block Orthogonal Long Short-Term Memory Autoencoder [3.7028696448588487]
  産業プロセスの高精度かつ信頼性の高い故障検出を行うために,MOLA: Multi-block Orthogonal Long short-term memory Autoencoder パラダイムを導入する。 本稿では,プロセス変数を専門的なプロセス知識を活用することで,複数のブロックに分類するマルチブロック監視構造を提案する。 テネシー・イーストマン・プロセスに適用することで,MOLAフレームワークの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-10-10T00:49:43Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Learning Pseudo-Backdoors for Mixed Integer Programs [48.36587539004464]
  そこで我々は,Mixed Programs (MIP) の解法として,擬似バックドア(擬似バックドア)と呼ばれる一連の決定変数の優先順位付けを学習し,解時間を短縮する機械学習手法を提案する。 我々のアプローチは、これらの変数の分岐のみが最適積分解と最適性の証明となるような、小さな変数の集合に対応する強いバックドアの概念から着想を得ている。 強力なバックドアに対する擬似バックドアの重要な利点は、データ駆動の識別や予測に非常に適している点である。
  論文  参考訳（メタデータ） (2021-06-09T13:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。