論文の概要: Slim-SC: Thought Pruning for Efficient Scaling with Self-Consistency

• arxiv url: http://arxiv.org/abs/2509.13990v1
• Date: Wed, 17 Sep 2025 14:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.860283
• Title: Slim-SC: Thought Pruning for Efficient Scaling with Self-Consistency
• Title（参考訳）: Slim-SC: 自己整合性による効率的なスケーリングのための思考計画
• Authors: Colin Hong, Xu Guo, Anand Chaanan Singh, Esha Choukse, Dmitrii Ustiugov,
• Abstract要約: 自己一貫性(SC)は複数の推論チェーンを並列に生成し、多数決によって最終回答を選択する。 Slim-SCは、思考レベルでチェーン間の類似性を用いて冗長なチェーンを識別・除去するステップワイズプルーニング戦略である。 実験によると、Slim-SCはR1-Distillで、それぞれ最大45%と26%のレイテンシとKVC使用量を削減している。
• 参考スコア（独自算出の注目度）: 3.6199690908942546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Test-Time Scaling (TTS) has gained increasing attention for improving LLM reasoning performance at test time without retraining the model. A notable TTS technique is Self-Consistency (SC), which generates multiple reasoning chains in parallel and selects the final answer via majority voting. While effective, the order-of-magnitude computational overhead limits its broad deployment. Prior attempts to accelerate SC mainly rely on model-based confidence scores or heuristics with limited empirical support. For the first time, we theoretically and empirically analyze the inefficiencies of SC and reveal actionable opportunities for improvement. Building on these insights, we propose Slim-SC, a step-wise pruning strategy that identifies and removes redundant chains using inter-chain similarity at the thought level. Experiments on three STEM reasoning datasets and two recent LLM architectures show that Slim-SC reduces inference latency and KVC usage by up to 45% and 26%, respectively, with R1-Distill, while maintaining or improving accuracy, thus offering a simple yet efficient TTS alternative for SC.
• Abstract（参考訳）: 近年,テスト時間スケーリング (TTS) は, モデルの再訓練を伴わずに, 試験時間におけるLCM推論性能の向上に注目が集まっている。 注目すべきTS技術は、複数の推論チェーンを並列に生成し、多数決によって最終回答を選択する自己一貫性(SC)である。 実効性はあるものの、オーダー・オブ・マグニチュード計算のオーバーヘッドは広い展開を制限する。 SCを加速しようとする以前の試みは、主に実験的なサポートが限定されたモデルベースの信頼スコアやヒューリスティックに依存していた。 SCの非効率性を理論的,実証的に分析し,改善の可能性を明らかにする。 これらの知見に基づいて、思考レベルでチェーン間の類似性を用いて冗長なチェーンを特定し除去するステップワイドプルーニング戦略であるSlim-SCを提案する。 3つのSTEM推論データセットと2つの最近のLLMアーキテクチャの実験により、Slim-SCは推論レイテンシとKVC使用率を最大45%と26%削減し、R1-Distillは精度を維持または改善し、SCの単純なTTS代替手段を提供する。

関連論文リスト

• Faster and Better LLMs via Latency-Aware Test-Time Scaling [47.3923926808606]
  テスト時間スケーリング(TTS)は、推論時の言語モデル(LLM)の性能向上に有効であることが証明されている。 既存の研究は、レイテンシに敏感な観点から、TSの効率性を見落としている。 計算最適TSは、レイテンシが重要となるシナリオにおいて、必ずしも最低レイテンシをもたらすとは限らないことを実証する。
  論文  参考訳（メタデータ） (2025-05-26T07:51:30Z)
• Stepwise Reasoning Checkpoint Analysis: A Test Time Scaling Method to Enhance LLMs' Reasoning [81.50681925980135]
  本稿では,ステップワイズ推論チェックポイント分析(SRCA)を提案する。 本研究は,(1)中間チェックポイント回答による経路推論をグループ化して品質を確保しつつ多様性を維持するAnswer-Clustered Search,(2)最終決定にすべての中間回答を活用するCheckpoint Candidate Augmentationの2つの主要な戦略を取り入れた。 提案手法は経路均質化を効果的に低減し,高品質な中間結果を活用することにより耐故障機構を創出する。
  論文  参考訳（メタデータ） (2025-05-23T12:42:50Z)
• SETS: Leveraging Self-Verification and Self-Correction for Improved Test-Time Scaling [39.57154199908565]
  自己拡張テストタイムスケーリング(SETS)は、並列およびシーケンシャルなテクニックを戦略的に組み合わせることで制限を克服する、シンプルで効果的なアプローチである。 SETSは、大規模言語モデルの固有の自己検証と自己計算機能を活用し、単一のフレームワーク内でサンプリング、検証、修正を統合する。 以上の結果から,SETSは代替品よりも優れた性能向上と,より有利なテスト時間スケーリング動作を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-01-31T17:03:16Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性は、複数の推論経路をサンプリングすることによって、大規模言語モデル(LLM)における幻覚を緩和する。 本稿では、サンプリング効率を高め、忠実性を推論する新しいフレームワークであるReasoning-Aware Self-Consistency (RASC)を紹介する。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。