論文の概要: Which Answers Agree? Evaluating Self-Consistency from Incomplete Logs

• arxiv url: http://arxiv.org/abs/2610.25752v1
• Date: Mon, 19 Oct 2026 04:03:35 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:26:43.446923
• Title: Which Answers Agree? Evaluating Self-Consistency from Incomplete Logs
• Title（参考訳）: 不完全なログから自己整合性を評価する
• Abstract要約: 自己整合性は、複数の応答を生成し、最も頻繁な回答を選択することで、質問に答える。 留意数と回答カテゴリー制限によって洗練される古典的偏化を用いて、鋭い精度境界を導出する。 Plurality-Uは、全ての固定サイズのサブセットに対する投票精度を正確に評価する数に基づく動的プログラムである。
• 参考スコア（独自算出の注目度）: 2.9831174928817674
• License:
• Abstract: Self-consistency answers a question by generating multiple responses and selecting the most frequent answer. Its evaluation requires both correctness labels and information about which responses agree; correctness labels alone generally determine neither voting accuracy nor the benefit of additional votes. For tasks in which all correct responses map to the same normalized answer, we derive sharp accuracy bounds using classical stochastic majorization, refined by abstention counts and answer-category limits. We also derive sharp bounds on accuracy changes across voting budgets that share a response pool. When answer-category counts are available, we introduce Plurality-U, a count-based dynamic program that exactly averages voting accuracy over all fixed-size subsets, eliminating finite-pool Monte Carlo error. On 1,403,520 stored outputs from recent reasoning models in Scorio Lite and Scorio Trace, recording abstention counts and answer options cuts the width of SuperGPQA accuracy intervals by more than half. For moving from 9 to 17 votes, our bounds reduce interval width by a median of 77.7% on SuperGPQA and 72.3% on 14 GPQA and Adaptive-Consistency pools, compared with a baseline that combines separate accuracy bounds. Exact computation has lower paired median runtime than 2,000-subset Monte Carlo in 14 of 15 tested pool-budget settings. These results clarify what incomplete logs can establish and provide an exact evaluation procedure when answer counts are retained.
• Abstract（参考訳）: 自己整合性は、複数の応答を生成し、最も頻繁な回答を選択することで、質問に答える。 その評価には正当性ラベルとどの応答が一致しているかの情報の両方が必要である。 すべての正解が同じ正規化解にマップされるタスクに対して、古典的確率的偏化(英語版)を用いてシャープな精度境界を導出する。 また、反応プールを共有する投票予算にまたがる精度の急激な変化も引き起こします。 Plurality-Uは、全ての固定サイズ部分集合に対する投票精度を正確に評価し、有限プールモンテカルロ誤差を除去する数に基づく動的プログラムである。 Scorio Lite と Scorio Trace の最近の推論モデルから1,403,520 個の出力を格納し、保持回数と解答オプションを記録し、SuperGPQA の精度間隔を半分以上削減する。 9票から17票に移動する場合、我々の境界はスーパーGPQAでは77.7%、14GPQAとAdaptive-Consistencyプールでは72.3%の間隔幅を減少させる。 厳密な計算は、テストプール予算設定15のうち、2000サブセットのモンテカルロよりも、ペア中央のランタイムが低い。 これらの結果から,不完全なログが確立可能かを明らかにし,回答数を保持する場合に正確な評価手順を提供する。

関連論文リスト

• ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation [35.56656941794163]
  本稿では,選択的生成モデレーションにより候補推論を再利用する学習自由推論手法であるRegenerative ablationを紹介する。 個別にサンプリングされた2つの候補プールを用いて評価された130の競合数学問題のハイブリットスコアでは、Reは100と99の正解を得るが、同じ4つの候補に対して91と92が投票する。
  論文  参考訳（メタデータ） (2026-10-01T06:19:29Z)
• Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
  多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
  論文  参考訳（メタデータ） (2026-09-24T11:16:53Z)
• Selection, Recombination, or a Fresh Solve? A Candidate-Free Control for Single-Pass Test-Time Aggregation [0.0]
  すべての候補が間違っている場合、正しい候補の選択はできないが、アグリゲーションコールは依然として問題を未然に解決することができる。 最大出力の許容範囲で欠落した候補自由制御を導入し、正しい候補数で階層化する。 AIME-2025とHMMT-2025をQwen3-4Bで比較すると、候補条件付けは複数の候補が正しい場合の精度を向上させる。
  論文  参考訳（メタデータ） (2026-08-18T23:17:16Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Uniformity in Heterogeneity:Diving Deep into Count Interval Partition for Crowd Counting [56.44300325295678]
  一様誤差分割(UEP)と呼ばれる新しいカウント間隔分割基準を提案する。 MCP基準は、推論中にそのカウント値を表すために、各インターバルのベストカウントプロキシを選択する。 統一誤り分割ネットワーク(UEPNet)と呼ばれる単純で効果的なモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-27T06:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。