論文の概要: Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions

• arxiv url: http://arxiv.org/abs/2605.07271v1
• Date: Fri, 08 May 2026 05:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.825329
• Title: Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions
• Title（参考訳）: 階層型大規模言語モデルの決定表現遷移による性能劣化の理解
• Authors: Boyu Shi, Chang Liu, ChuanBao Gao, Xu Yang, Xin Geng,
• Abstract要約: レイヤープルーニングは、LLM(Large Language Model)計算コストを効率的に削減するが、しばしば突然の性能低下を引き起こす。 本稿では,2つの指標,決定マージンとオプション周波数を導入し,レイヤワイド決定ダイナミクスを解析するための反復処理手法を提案する。 その結果,ネットワークを2段階に分割するシャープな決定遷移が明らかとなった。
• 参考スコア（独自算出の注目度）: 31.363596159800963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer pruning efficiently reduces Large Language Model (LLM) computational costs but often triggers sudden performance collapse. Existing representation-based analyses struggle to explain this mechanism. We propose studying pruning through decision representation. Focusing on multiple-choice tasks, we introduce two metrics, Decision Margin and Option Frequency, and an Iterative Pruning method to analyze layer-wise decision dynamics. Our findings reveal a sharp decision transition that partitions the network into two stages: a Silent Phase, where the model cannot yet predict the correct answer, and a Decisive Phase, where the correct prediction emerges. We also find that pruning the Decisive Phase has minimal impact, whereas pruning the Silent Phase triggers immediate performance collapse, highlighting its extreme sensitivity to structural changes. Therefore, we conclude that pruning-induced collapse stems from disrupting the Silent Phase, which prevents the critical decision transition from occurring.
• Abstract（参考訳）: レイヤープルーニングは、LLM(Large Language Model)計算コストを効率的に削減するが、しばしば突然の性能低下を引き起こす。 既存の表現に基づく分析は、このメカニズムを説明するのに苦労する。 本稿では,決定表現によるプルーニングの学習を提案する。 複数選択タスクに焦点をあてて、決定マージンとオプション周波数の2つの指標と、レイヤワイズ決定ダイナミクスを解析するための反復プルーニング手法を導入する。 その結果,ネットワークを2段階に分割するシャープな決定遷移が明らかとなった。 また, 決定相の破砕は最小限の影響しか与えないのに対し, サイレント相の破砕は即時性能低下を招き, 構造変化に対する過度な敏感さを浮き彫りにする。 したがって, プルーニングによる崩壊は, 臨界決定遷移の発生を阻害する不純物相の崩壊に起因すると結論づける。

関連論文リスト

• Amortized-Precision Quantization for Early-Exit Vision Transformers [14.001192614503807]
  本稿では,Amortized-Precision Quantization (APQ)について紹介する。 提案するMultual Adaptive Quantization with Early Exiting (MAQEE)は,予測安定性を向上させるために,明示的なリスク制御の下で,出口閾値とビット幅を協調的に最適化するバイレベルフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:27:04Z)
• Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
  表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
  論文  参考訳（メタデータ） (2026-02-09T15:25:12Z)
• The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
  本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。 驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
  論文  参考訳（メタデータ） (2024-06-27T17:57:03Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Learning Deterministic Surrogates for Robust Convex QCQPs [0.0]
  本稿では,ロバストな意思決定損失に関する予測モデルをトレーニングするための二重暗黙層モデルを提案する。 第1の層は問題の決定論的バージョンを解き、第2の層は不確実性集合に対する最悪のケース実現を評価する。 これにより、テスト時に単純な決定論的問題を解くだけで、堅牢な決定につながるモデルのパラメータ化を学ぶことができます。
  論文  参考訳（メタデータ） (2023-12-19T16:56:13Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Counterfactual Explanations in Sequential Decision Making Under Uncertainty [27.763369810430653]
  本研究では, 逐次的意思決定プロセスにおいて, 対実的説明を求める手法を開発した。 我々の問題定式化において、反実的説明は、少なくとも k 個の作用において異なる作用の別の列を特定する。 提案アルゴリズムは,不確実性の下での意思決定の促進に有用な洞察を与えることができることを示す。
  論文  参考訳（メタデータ） (2021-07-06T17:38:19Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。