論文の概要: Rethinking LLM Pruning via Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2611.01133v1
• Date: Sat, 31 Oct 2026 17:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.452845
• Title: Rethinking LLM Pruning via Test-Time Scaling
• Title（参考訳）: テスト時間スケーリングによるLCMプルーニングの再考
• Abstract要約: 構造化プルーニングは大きな言語モデルのサイズを小さくし、しばしば精度を下げる。 一致したサンプリング予算で、pass@kを通じてオリジナルモデルとプルーニングモデルを比較します。
• 参考スコア（独自算出の注目度）: 19.95776080082138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning reduces the size of large language models, often at the cost of lower accuracy. Whether this decline reflects diminished reasoning capacity or greater difficulty in sampling correct solutions is less clear. We examine this question across expert, FFN and layer pruning on four mathematical and coding benchmarks, comparing original and pruned models through pass@k at matched sampling budgets. Even after substantial pruning, some models match or exceed the original model's reasoning coverage despite lower pass@1, and solve problems left unsolved in the original samples. Retaining broad coverage, however, does not mean that correct solutions remain easy to obtain. Under severe pruning, diverse generated chain-of-thought (CoT) traces can coexist with increased repetition and less reliable generation. As correct answers become harder to sample, the additional attempts can sharply increase total token use even when individual responses become shorter. This separation between coverage and sampling efficiency also clarifies expert-selection gains, as methods with markedly different pass@1 can solve the same problems at large budgets yet require different numbers of attempts to reach a common coverage target. Pruning should therefore be assessed by both the range of problems a model can still solve and the sampling cost of obtaining correct solutions.
• Abstract（参考訳）: 構造化プルーニングは大きな言語モデルのサイズを小さくし、しばしば精度を下げる。 この減少が推論能力の低下を反映しているか、あるいは正しい解のサンプリングが困難であるかは明らかになっていない。 この問題を,4つの数学的およびコーディングベンチマークを用いて,専門家,FFN,レイヤプルーニングを用いて検討し,一致したサンプリング予算でのpass@kによるオリジナルモデルとプルーニングモデルを比較した。 実質的なプルーニングの後でも、パス@1が低いにもかかわらず、元のモデルの推論カバレッジにマッチまたは超過するモデルもあり、元のサンプルには未解決の問題が残されている。 しかし、広範な範囲を維持することは、正しい解決策が容易に得られないことを意味するわけではない。 厳しい刈り込みの下では、多種多様なチェーン・オブ・シークレット(CoT)トレースは、繰り返しの増大と信頼性の低い生成と共存することができる。 正しい回答をサンプリングするのが難しくなると、個別の回答が短くなってもトークン使用量を大幅に増やすことができる。 このカバレッジとサンプリング効率の分離は、非常に異なるpass@1のメソッドが大きな予算で同じ問題を解決できるが、共通のカバレッジターゲットに到達するためには異なる数の試行を必要とするため、専門家選択の利益も明らかにする。 したがって、モデルがまだ解ける問題の範囲と正しい解を得るためのサンプリングコストの両方で、プルーニングを評価する必要がある。

関連論文リスト

• Learning from the Gap Between Pass@K and Pass@1 [5.390994765967647]
  本研究では,各クエリが検索なしで1つの応答を受信する単一サンプル復号法について検討し,検索対象の振る舞いをモデルに吸収できるかどうかを問う。 既存のトレーニング後レシピは、Kサンプル内で回収された障害から、最初のデコードで既に解決されている問題を一般的に区別するものではない。 本稿では、ソースチェックポイントの単一サンプル結果とPass@K-Pass@1ギャップ上の微調整によってトレーニングエビデンスを選択するGapFTを紹介する。
  論文  参考訳（メタデータ） (2026-09-17T04:34:33Z)
• Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning [3.8191765711200065]
  本稿では,テスト時間計算を用いて候補解の探索と改良を行う検証自由幅改良フレームワークを提案する。 提案手法は, 難解な復号化, 多数決投票, 検証器ベースのベスト・オブ・N$, ビームサーチ, および複数のオープンウェイトモデル間でのルック・復号化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-06T06:38:37Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• Keep Guessing? When Considering Inference Scaling, Mind the Baselines [45.21178011740911]
  大規模言語モデルにおける推論計算のスケーリングは、サンプルの数が増えるにつれて、常にカバレッジ(問題解決の限界)を増大させる。 我々は、この観察された改善は、標準評価ベンチマークの回答分布が比較的小さな共通回答の集合に傾いていることによるものであると推測する。
  論文  参考訳（メタデータ） (2024-10-20T18:43:05Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。