論文の概要: Breaking the Pre-Sampling Barrier: Activation-Informed Difficulty-Aware Self-Consistency

• arxiv url: http://arxiv.org/abs/2602.09438v1
• Date: Tue, 10 Feb 2026 06:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.398184
• Title: Breaking the Pre-Sampling Barrier: Activation-Informed Difficulty-Aware Self-Consistency
• Title（参考訳）: プリサンプリングバリアを壊す: アクティベーションインフォームドの難易度を考慮した自己整合性
• Authors: Taewoong Yoon, Geunyeong Jeong, Geon Park, Sihyeong Yeom, Harksoo Kim,
• Abstract要約: 自己整合性(英: Self-Consistency, SC)は、大規模言語モデル(LLM)の推論性能を改善する効果的な復号化戦略である。 大量のサンプルを必要とするため、かなりの推論コストに悩まされる。 これらの制約に対処するために,アクティベーション・インフォームド・ディフルティ・アウェア・セルフ一貫性(ACTSC)を提案する。
• 参考スコア（独自算出の注目度）: 10.079669716138763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Consistency (SC) is an effective decoding strategy that improves the reasoning performance of Large Language Models (LLMs) by generating multiple chain-of-thought reasoning paths and selecting the final answer via majority voting. However, it suffers from substantial inference costs because it requires a large number of samples. To mitigate this issue, Difficulty-Adaptive Self-Consistency (DSC) was proposed to reduce unnecessary token usage for easy problems by adjusting the number of samples according to problem difficulty. However, DSC requires additional model calls and pre-sampling to estimate difficulty, and this process is repeated when applying to each dataset, leading to significant computational overhead. In this work, we propose Activation-Informed Difficulty-Aware Self-Consistency (ACTSC) to address these limitations. ACTSC leverages internal difficulty signals reflected in the feed-forward network neuron activations to construct a lightweight difficulty estimation probe, without any additional token generation or model calls. The probe dynamically adjusts the number of samples for SC and can be applied to new datasets without requiring pre-sampling for difficulty estimation. To validate its effectiveness, we conduct experiments on five benchmarks. Experimental results show that ACTSC effectively reduces inference costs while maintaining accuracy relative to existing methods.
• Abstract（参考訳）: 自己整合性(英: Self-Consistency, SC)は、複数のチェーン・オブ・シント推論パスを生成し、多数決投票によって最終回答を選択することによって、大規模言語モデル(LLM)の推論性能を改善する効果的な復号戦略である。 しかし、大量のサンプルを必要とするため、かなりの推論コストに悩まされる。 この問題を軽減するために,難易度適応型自己整合性(DSC)が提案され,難易度に応じてサンプル数を調整することで,不要なトークンの使用を減らすことができた。 しかし、DSCは難易度を推定するために追加のモデル呼び出しと事前サンプリングを必要とし、このプロセスは各データセットに適用する際に繰り返され、計算オーバーヘッドが大幅に増加する。 本研究では,これらの制約に対処するため,アクティベーション・インフォームド・ディフルティ・アウェア・セルフ一貫性(ACTSC)を提案する。 ACTSCは、フィードフォワードネットワークニューロンの活性化に反映される内部難易度信号を利用して、トークン生成やモデル呼び出しなしに軽量な難易度推定プローブを構築する。 このプローブは、SCのサンプル数を動的に調整し、難易度推定のために事前サンプリングを必要とせず、新しいデータセットに適用することができる。 有効性を検証するため,5つのベンチマークで実験を行った。 実験の結果,ACTSCは既存の手法と比較して精度を維持しつつ,推論コストを効果的に低減できることがわかった。

関連論文リスト

• TS-DP: Reinforcement Speculative Decoding For Temporal Adaptive Diffusion Policy Acceleration [64.32072516882947]
  拡散ポリシーは、具体的制御が優れているが、高い推論遅延と計算コストに悩まされている。 時間認識強化に基づく投機的拡散政策(TS-DP)を提案する。 TS-DPは94%以上のドラフトで最大4.17倍高速な推論を実現し、推論周波数は25Hzに達した。
  論文  参考訳（メタデータ） (2025-12-13T07:53:14Z)
• The LLM Already Knows: Estimating LLM-Perceived Question Difficulty via Hidden Representations [33.65540900920885]
  大規模言語モデル(LLM)によって知覚される入力質問の難しさを推定することは、正確な性能評価と適応推論に不可欠である。 本稿では,LLMが生成する隠れ表現のみを利用する難易度推定手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T09:38:41Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• One-step Noisy Label Mitigation [86.57572253460125]
  ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。 モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。 我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
  論文  参考訳（メタデータ） (2024-10-02T18:42:56Z)
• Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性は、複数の推論経路をサンプリングすることによって、大規模言語モデル(LLM)における幻覚を緩和する。 本稿では、サンプリング効率を高め、忠実性を推論する新しいフレームワークであるReasoning-Aware Self-Consistency (RASC)を紹介する。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)
• Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning [19.408941114068444]
  自己整合性(英: Self-Consistency, SC)は、思考の連鎖推論のための復号法である。 その変種である適応自己整合(ASC)とアーリーストッピング自己整合(ESC)は、プレサンプルの集合の後方分布に基づいて標本の数を動的に調整する。 本稿では,バッチクエリの難易度情報を利用して推論資源を適応的に割り当てるDifficulty-Adaptive Self-Consistency (DSC)を提案する。
  論文  参考訳（メタデータ） (2024-08-24T04:03:35Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。