論文の概要: Optimal Self-Consistency for Efficient Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2511.12309v1
• Date: Sat, 15 Nov 2025 17:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.880954
• Title: Optimal Self-Consistency for Efficient Reasoning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた効率的な推論のための最適自己整合性
• Authors: Austin Feng, Marius Alonso, Ambroise Odonnat,
• Abstract要約: 自己整合性(英: Self-Consistency, SC)は、チェーンオブソート推論の性能向上のためのテスト時間推論手法である。 本稿では,SCのスケーリング行動とその変種を網羅的に分析し,モード推定と投票理論に基づく。 Blend-ASCは自己整合の新たな変種であり、推論中に動的にサンプルを問合せに割り当てる。
• 参考スコア（独自算出の注目度）: 3.74203477986748
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-consistency (SC) is a widely used test-time inference technique for improving performance in chain-of-thought reasoning. It involves generating multiple responses, or samples from a large language model (LLM) and selecting the most frequent answer. This procedure can naturally be viewed as a majority vote or empirical mode estimation. Despite its effectiveness, SC is prohibitively expensive at scale when naively applied to datasets, and it lacks a unified theoretical treatment of sample efficiency and scaling behavior. In this paper, we provide the first comprehensive analysis of SC's scaling behavior and its variants, drawing on mode estimation and voting theory. We derive and empirically validate power law scaling for self-consistency across datasets, and analyze the sample efficiency for fixed-allocation and dynamic-allocation sampling schemes. From these insights, we introduce Blend-ASC, a novel variant of self-consistency that dynamically allocates samples to questions during inference, achieving state-of-the-art sample efficiency. Our approach uses 6.8x fewer samples than vanilla SC on average, outperforming both fixed- and dynamic-allocation SC baselines, thereby demonstrating the superiority of our approach in terms of efficiency. In contrast to existing variants, Blend-ASC is hyperparameter-free and can fit an arbitrary sample budget, ensuring it can be easily applied to any self-consistency application.
• Abstract（参考訳）: 自己整合性(英: Self-Consistency, SC)は、チェーンオブソート推論の性能向上のためのテスト時間推論手法である。 複数のレスポンス、あるいは大きな言語モデル(LLM)からサンプルを生成し、最も頻繁な回答を選択する。 この手順は、自然に多数決または経験的モード推定とみなすことができる。 SCは、その有効性にもかかわらず、データセットに鼻で当てはまると、大規模では違法に高価であり、サンプル効率とスケーリングの振る舞いに関する統一的な理論的処理が欠けている。 本稿では,SCのスケーリング行動とその変種を網羅的に分析し,モード推定と投票理論に基づく。 我々は,データセット間の自己整合性に対する電力法スケーリングを実験的に導出し,固定配置および動的配置サンプリングスキームのサンプル効率を解析した。 これらの知見から,Blend-ASCを提案する。Blend-ASCは自己整合性の新たな変種であり,推論中の質問に対して動的にサンプルを割り当て,最先端のサンプル効率を実現する。 提案手法では,バニラSCよりも平均6.8倍少ないサンプルを用いて,固定配置SCと動的配置SCの両ベースラインを上回り,効率面でのアプローチの優位性を示す。 既存の変種とは対照的に、Blend-ASCはハイパーパラメータフリーであり、任意のサンプル予算に適合し、自己整合性アプリケーションにも容易に適用できる。

関連論文リスト

• EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
  大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。 ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。 本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:00:13Z)
• Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW [2.028622227373579]
  勾配に基づく降下(SGD)は、長い間、大きな言語モデル(LLM)の訓練の中心であった。 本稿では,LLMを学習するための適応サンプリングとともに,共役下次法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T23:30:15Z)
• Probabilistic Optimality for Inference-time Scaling [8.126757296203957]
  大規模言語モデル(LLM)の推論性能を向上させるための強力な手法として、推論時間スケーリングが登場した。 本稿では,並列サンプルが独立かつ同一分布であるという仮定の下で,推論時間スケーリングの最適性を定式化する確率的フレームワークを提案する。 サンプル応答の最適数を動的に決定する実用的なアルゴリズムである OptScale を開発した。
  論文  参考訳（メタデータ） (2025-06-27T16:44:11Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性は、複数の推論経路をサンプリングすることによって、大規模言語モデル(LLM)における幻覚を緩和する。 本稿では、サンプリング効率を高め、忠実性を推論する新しいフレームワークであるReasoning-Aware Self-Consistency (RASC)を紹介する。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。