論文の概要: When Fewer Layers Break More Chains: Layer Pruning Harms Test-Time Scaling in LLMs

• arxiv url: http://arxiv.org/abs/2510.22228v1
• Date: Sat, 25 Oct 2025 09:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.992419
• Title: When Fewer Layers Break More Chains: Layer Pruning Harms Test-Time Scaling in LLMs
• Title（参考訳）: 低層がより連鎖を断ち切るとき: LLMにおけるテスト時間スケーリングのレイヤ・プルーニング
• Authors: Keyu Wang, Tian Lyu, Guinan Su, Jonas Geiping, Lu Yin, Marco Canini, Shiwei Liu,
• Abstract要約: テスト時間スケーリングのレンズによる長鎖推論における層プルーニングの影響について検討する。 1つか2つのレイヤをプルーニングしても、テストタイムのスケーリングを著しく損なう可能性があることを実証します。 これらの発見は、レイヤープルーニング戦略の再考を呼び起こす。
• 参考スコア（独自算出の注目度）: 40.79077285268906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer pruning has emerged as a widely adopted technique for improving the efficiency of large language models (LLMs). Although existing methods demonstrate strong performance retention on general knowledge tasks, their effect on long-chain reasoning, a more brittle yet crucial capability, remains largely unexplored. In this work, we study the impact of layer pruning on long-chain reasoning through the lens of test-time scaling, a key mechanism in modern LLMs that enables strong reasoning capacity by allocating more computation at inference time. With extensive experiments, we demonstrate that pruning even one or two layers can severely impair test-time scaling, with performance collapsing drastically on long reasoning benchmarks even when performance on knowledge-intensive and shallow reasoning tasks remains stable. Furthermore, we find that standard supervised fine-tuning remedies fail to recover test-time scaling once it has deteriorated. Through in-depth analyses, we identify the mechanisms underlying this fragility of test-time scaling and highlight the fundamental risks of applying layer pruning to reasoning-intensive LLMs. These findings call for a rethinking of layer pruning strategies and provide insights for developing methods that preserve the robustness of reasoning. We open-source the codebase in \href{https://github.com/keyu-wang-2002/Layer-Pruning-Harms-Inference-Scaling}{https://github.com/keyu-wang-2002/Layer-Pruning-Harms-Inference-Scaling}.
• Abstract（参考訳）: レイヤープルーニングは、大規模言語モデル(LLM)の効率を改善するために広く採用されている手法として現れている。 既存の手法は、一般的な知識タスクに強い性能維持を示すが、長鎖推論(より脆弱だが重要な能力である)に対する効果は、まだ明らかにされていない。 本研究では,テスト時間スケーリングのレンズを通した長鎖推論におけるレイヤプルーニングの影響について検討する。 広範な実験により,知識集約的かつ浅い推論タスクのパフォーマンスが安定していても,長い推論ベンチマークで性能が大幅に低下するなど,ひとつないし2つのレイヤのプルーニングがテスト時間スケーリングを著しく損なうことが実証された。 さらに, 標準教師付き微調整療法は, 劣化すると, テストタイムのスケーリングを回復できないことがわかった。 詳細な分析を通じて,テストタイムスケーリングのこの脆弱性の基盤となるメカニズムを特定し,レイヤープルーニングを推論集約型LCMに適用する基本的なリスクを明らかにする。 これらの知見は, レイヤープルーニング戦略を再考し, 推論の堅牢性を維持する手法開発のための洞察を与えるものである。 コードベースをオープンソースにするのは,‘href{https://github.com/keyu-wang-2002/Layer-Pruning-Harms-Inference-Scaling}{https://github.com/keyu-wang-2002/Layer-Pruning-Harms-Inference-Scaling} です。

関連論文リスト

• Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling [38.27469349005585]
  テストタイムスケーリングは、大規模言語モデルの推論能力を高めるための強力なパラダイムである。 テストタイムのスケーリングは、冗長かつ反復的な推論トレースの生成によって本質的に非効率である。 テスト時間スケーリングを高速化する投機的復号法を評価するために設計された最初の包括的なベンチマークを紹介する。
  論文  参考訳（メタデータ） (2025-08-30T01:54:55Z)
• Does More Inference-Time Compute Really Help Robustness? [50.47666612618054]
  小規模なオープンソースモデルは、推論時間スケーリングの恩恵を受けることができることを示す。 我々は、逆スケーリング法として、直感的に動機付けられ、実証的に検証された重要なセキュリティリスクを特定します。 私たちは、セキュリティに敏感で現実世界のアプリケーションに推論タイムのスケーリングを適用する前に、実践者にこれらの微妙なトレードオフを慎重に検討するよう促します。
  論文  参考訳（メタデータ） (2025-07-21T18:08:38Z)
• Activation Control for Efficiently Eliciting Long Chain-of-thought Ability of Language Models [45.938663388013445]
  本報告では,最後の数層における高影響活性化の小さなセットが,長大な推論特性を支配していることを示す。 これらのアクティベーションを増幅し、"待機"トークンを挿入することで、トレーニングなしで長いCoT機能を呼び出すことができます。
  論文  参考訳（メタデータ） (2025-05-23T10:07:18Z)
• Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space [82.75174050101108]
  テスト時間インスタンスレベルの適応(TTIA)を通じて推論を強化するフレームワークであるLatentSeekを紹介した。 LatentSeekは、GSM8K、MATH-500、AIME2024など、さまざまな推論ベンチマークで評価されている。 結果は、LatentSeekが一貫して強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-19T16:26:02Z)
• Rethinking the Role of Prompting Strategies in LLM Test-Time Scaling: A Perspective of Probability Theory [79.63672515243765]
  本稿では、標準的で現実的なスケーリング設定である多数決に焦点をあてる。 サンプリング時間と計算オーバーヘッドが増加するにつれて、より優れた初期性能を持つ複雑なプロンプト戦略が、次第に単純なチェーン・オブ・サート(Chain-of-Thought)に遅れることが示される。 本稿では,スケーリング性能を効率的に予測し,大規模なサンプリング時間下での最良のプロンプト戦略を特定する確率的手法を提案する。
  論文  参考訳（メタデータ） (2025-05-16T08:28:57Z)
• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  大規模言語モデル(LLM)は、より有能で広く普及している。 テスト時間計算の標準化, 測定, スケーリングの最近の進歩は, ハードタスクにおける高い性能を達成するためにモデルを最適化するための新しい手法を提案する。 本稿では、これらの進歩をジェイルブレイクモデルに応用し、協調LDMから有害な応答を誘発する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)
• Understanding the Effectiveness of Coverage Criteria for Large Language Models: A Special Angle from Jailbreak Attacks [10.909463767558023]
  大規模言語モデル(LLM)は人工知能に革命をもたらしたが、重要なドメインにまたがるデプロイメントは、悪意のある攻撃に直面した際の異常な振る舞いを懸念している。 本稿では,このような不確実性を特定する上で,従来のカバレッジ基準の有効性を評価するための総合的な実証的研究を行う。 我々は、クエリを正規またはジェイルブレイクとして分類する際の高精度(平均93.61%)を実現するリアルタイムジェイルブレイク検出機構を開発した。
  論文  参考訳（メタデータ） (2024-08-27T17:14:21Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。