論文の概要: SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning

• arxiv url: http://arxiv.org/abs/2610.15514v1
• Date: Sun, 11 Oct 2026 10:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.220629
• Title: SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning
• Title（参考訳）: SARATHI:構造化LCMの非結合型データ自由探索と適応的再構成
• Abstract要約: 構造化プルーニングは、ニューロンと重み列を永久に除去することにより、大きな言語モデル(LLM)の推論コストを低減する。 既存のトレーニング後の方法は、共有キャリブレーションデータセットによるニューロンの選択と体重再構成を併用する。 これら2つの段階を分離するフレームワークであるSARATHIを提案する。
• 参考スコア（独自算出の注目度）: 1.3766156880876856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning reduces the inference cost of large language models (LLMs) by permanently removing neurons and weight rows, yielding dense, hardware-agnostic speedup. Existing post-training methods couple neuron selection and weight reconstruction through a shared calibration dataset, introducing domain bias and out-of-memory failures at high sparsity. We propose SARATHI, a framework that decouples these two stages. A data-free \emph{NMF Residual Subspace Probe} scores neurons using intrinsic weight geometry, without accessing any calibration data, and carries a formal connection to Robust PCA. \emph{Adaptive OBS} then reconstructs the pruned weights with a localized calibration batch, operating in $\mathcal{O}(d^2)$ peak memory per layer and eliminating the global memory bottleneck of coupled methods. A \emph{Bias Shift Compensation} step corrects systematic activation drift in post-LayerNorm architectures that would otherwise cause perplexity collapse at high sparsity. Experiments across six models from two architecture families (gated and non-gated FFN) at 15--40\% sparsity show that SARATHI achieves competitive perplexity and matches or exceeds existing structured pruning baselines on zero-shot accuracy.
• Abstract（参考訳）: 構造化プルーニングは、ニューロンと重み列を永久に取り除き、密度の高いハードウェアに依存しないスピードアップをもたらすことにより、大きな言語モデル(LLM)の推論コストを低減する。 既存のトレーニング方法は、共有キャリブレーションデータセットを通じてニューロンの選択と重み付けを組み合わせ、ドメインバイアスとメモリ外障害を高頻度で導入する。 これら2つの段階を分離するフレームワークであるSARATHIを提案する。 データフリーの \emph{NMF Residual Subspace Probe} は、キャリブレーションデータにアクセスすることなく、固有の重み付けを使ってニューロンをスコアし、ロバストPCAに正式な接続を行う。 次に、pruned weightsを局所化されたキャリブレーションバッチで再構築し、$\mathcal{O}(d^2)$ peak memory per layerで動作し、結合されたメソッドのグローバルメモリボトルネックを取り除く。 emph{Bias Shift Compensation} ステップは、LayerNorm アーキテクチャ後の体系的なアクティベーションドリフトを補正する。 2つのアーキテクチャファミリ(ゲートおよび非ゲートFFN)の15～40倍の間隔での6つのモデルに対する実験は、SARATHIが競合の難易度を達成し、ゼロショット精度で既存の構造化プルーニングベースラインを超えていることを示している。

関連論文リスト

• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• Machine Learning-Based Reconstruction for Resistive Silicon Sensors [53.365453214937496]
  抵抗型シリコンセンサの機械学習による再構成と圧縮について検討した。 相関パッドからのフルウェーブフォーム情報を用いて、再構成を規則化し、空間情報を抽出する。 まず、LSTM層に基づくリカレントニューラルネットワークモデルを紹介し、フルウェーブフォーム再構成のための概念実証実装を提供する。
  論文  参考訳（メタデータ） (2026-07-13T14:03:26Z)
• Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration [71.77541419885925]
  グラフベースの統合DPフレームワークを提案する。 データセットを重み付きグラフとしてモデル化することにより、DPは最大重み付き傾き問題(MWCP)としてキャストできる。 ResNet-50でImageNet-1kの精度を犠牲にすることなく、トレーニング時間を40%以上短縮する。
  論文  参考訳（メタデータ） (2026-06-11T05:13:32Z)
• Non-linear mechanical field reconstruction coupling recurrent neural networks with physics-informed graph neural networks [0.6978367196609415]
  局所応力場再構成の時間的側面と空間的側面を結合したLSTMGNNフレームワークを提案する。 線形ウォームアップによる相対重み付け戦略を導入し,データ駆動型再構成損失と離散発散型平衡ペナルティのバランスをとる。 このモデルは有限要素シミュレーションよりも3桁のスピードアップを達成し、累積誤差1.9%でトレーニング長の2倍の負荷列に一般化する。
  論文  参考訳（メタデータ） (2026-06-09T14:20:39Z)
• FedSQ: Optimized Weight Averaging via Fixed Gating [1.2058208023553034]
  フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。 本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。 ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
  論文  参考訳（メタデータ） (2026-04-03T11:54:23Z)
• RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
  残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。 本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
  論文  参考訳（メタデータ） (2026-02-05T06:41:11Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Progressive Binarization with Semi-Structured Pruning for LLMs [36.91249209658632]
  半構造化プルーニング(PBS$2$P)によるプログレッシブバイナリ化を提案し,バイナライゼーションと半構造化プルーニングをシームレスに統合する新しいポストトレーニングフレームワークを提案する。 PBS$2$P は,2進法(SOTA) の2進法を複雑度と下流精度の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T13:30:29Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。