論文の概要: The Fragility and Dynamics of LLM Pruning-Recovery Steps

• arxiv url: http://arxiv.org/abs/2610.15574v1
• Date: Sun, 11 Oct 2026 12:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:47:55.323472
• Title: The Fragility and Dynamics of LLM Pruning-Recovery Steps
• Title（参考訳）: LLM成形回収工程の脆性とダイナミクス
• Abstract要約: 命令追従がプルーニングの下で最初に崩壊する能力であることに気付きました。 ドメイン内データが最強のプルーニング信号であるのに対して、命令スタイルのデータは最も多く回復する。
• 参考スコア（独自算出の注目度）: 11.01567644801761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural pruning followed by a recovery stage is the standard recipe for compressing large language models (LLMs), yet the two stages are typically designed and tuned in isolation. In this work, we study how their interaction shapes the compressed model, sweeping ordering, the data that drives each stage, and the alignment of their training objectives. We find that instruction-following is the first capability to collapse under pruning, well before knowledge, reasoning, or core language modeling, and that much of the pruning in-domain loss is likely not knowledge loss but a domain-agnostic failure to respond coherently to the prompt. We find in our setting that in-domain data is the strongest pruning signal, whereas instruction-style data recovers the most. Stage order matters little, but only marginally. We further analyze how the importance ranking drifts before and after pruning. Together these results give practitioners a concrete recipe for composing pruning and recovery.
• Abstract（参考訳）: 大規模な言語モデル(LLM)を圧縮するための標準的なレシピはリカバリ段階に続く構造的プルーニングである。 本研究では,その相互作用が圧縮モデル,スイーピング順序,各ステージを駆動するデータ,トレーニング対象のアライメントをどのように形成するかを検討する。 命令追従は、知識、推論、またはコア言語モデリングのすぐ前において、プルーニングの下で崩壊する最初の能力であり、プルーニングのドメイン内の損失の多くは、知識損失ではなく、インプロンプトに一貫性のないドメイン非依存の失敗である可能性が高い。 ドメイン内データが最強のプルーニング信号であるのに対して、命令スタイルのデータが最強のプルーニング信号であることを示す。 ステージオーダーは少ないが、わずかにしか重要ではない。 さらに,刈り込み前後のランキングがいかに重要かを分析する。 これらの結果により、実践者は刈り取りと回復のための具体的なレシピを作成できる。

関連論文リスト

• Adaptive state-action abstractions via rate-distortion [52.25810164390199]
  強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:10:18Z)
• From LLMs to LRMs: Rethinking Pruning for Reasoning-Centric Models [17.998434546981738]
  大規模言語モデル(LLM)はデプロイにますますコストがかかり、モデルプルーニングに関する広範な研究を動機付けている。 命令フォロー(textbfLLM-instruct$)モデルと推論強化(textbfLLM-think$)モデルの両方に対するプルーニングの制御的研究を行う。 我々は,分類,生成,推論にまたがる17のタスクに対して,静的深さプルーニング,静的幅プルーニング,動的プルーニングを評価した。
  論文  参考訳（メタデータ） (2026-01-26T03:01:39Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• From Memorization to Reasoning in the Spectrum of Loss Curvature [6.463682206736737]
  記憶化は言語モデル (LM) と視覚変換器 (ViT) の両方の重みで切り離すことができることを示す。 本研究は,LMにおける下流タスクに対する編集手順の影響を広範囲に分析し,事実検索と算術が特に負の影響を受けることを明らかにする。
  論文  参考訳（メタデータ） (2025-10-28T10:09:35Z)
• DReSS: Data-driven Regularized Structured Streamlining for Large Language Models [30.47317140878219]
  大規模言語モデル(LLM)は、様々な領域で大きな進歩を遂げているが、その規模が大きくなると高い計算とメモリコストがもたらされる。 本稿では,まず正規化,次にプーン,そして最後に微細構造を適用する新しいパラダイムを提案する。 プルーニングされるコンポーネントを正規化するために少量のデータを活用することで、DReSSは、重要な情報をモデルの残りの部分に前もって明示的に転送する。
  論文  参考訳（メタデータ） (2025-01-29T14:28:11Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。