論文の概要: The Sequential Edge: Inverse-Entropy Voting Beats Parallel Self-Consistency at Matched Compute

• arxiv url: http://arxiv.org/abs/2511.02309v1
• Date: Tue, 04 Nov 2025 06:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.835946
• Title: The Sequential Edge: Inverse-Entropy Voting Beats Parallel Self-Consistency at Matched Compute
• Title（参考訳）: 逐次エッジ:逆エントロピー投票は一致した計算における並列自己整合に勝る
• Authors: Aman Sharma, Paras Chopra,
• Abstract要約: 言語モデルの推論のために、テスト時のスケーリングを再検討し、根本的な疑問を投げかけます。複数の独立したチェーンを並列に実行するか、あるいは、逐次的なステップを通じて反復的に洗練されるチェーンを少なくする方がよいのでしょうか? 逐次スケーリングは、95.6%の構成で支配的な並列自己整合パラダイムを継続的に上回り、精度は46.7%まで向上する。 逆エントロピー重み付き投票(Inverse-entropy weighted voting)は、シーケンシャルスケーリングの精度をさらに高める新しいトレーニング不要な手法である。
• 参考スコア（独自算出の注目度）: 5.37133760455631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We revisit test-time scaling for language model reasoning and ask a fundamental question: at equal token budget and compute, is it better to run multiple independent chains in parallel, or to run fewer chains that iteratively refine through sequential steps? Through comprehensive evaluation across 5 state-of-the-art open source models and 3 challenging reasoning benchmarks, we find that sequential scaling where chains explicitly build upon previous attempts consistently outperforms the dominant parallel self-consistency paradigm in 95.6% of configurations with gains in accuracy upto 46.7%. Further, we introduce inverse-entropy weighted voting, a novel training-free method to further boost the accuracy of sequential scaling. By weighing answers in proportion to the inverse entropy of their reasoning chains, we increase our success rate over parallel majority and establish it as the optimal test-time scaling strategy. Our findings fundamentally challenge the parallel reasoning orthodoxy that has dominated test-time scaling since Wang et al.'s self-consistency decoding (Wang et al., 2022), positioning sequential refinement as the robust default for modern LLM reasoning and necessitating a paradigm shift in how we approach inference-time optimization.
• Abstract（参考訳）: 平等なトークンの予算と計算では、複数の独立したチェーンを並列に実行するか、シーケンシャルなステップを通じて反復的に洗練されるチェーンを少なくする方がよいのでしょうか? 5つの最先端のオープンソースモデルと3つの挑戦的な推論ベンチマークを総合的に評価することで、チェーンが以前の試みで明示的に構築したシーケンシャルスケーリングが、精度が46.7%まで向上した構成の95.6%において、支配的な並列自己一貫性パラダイムを一貫して上回っていることが分かった。 さらに、逐次スケーリングの精度をさらに高めるために、新しいトレーニング不要な逆エントロピー重み付き投票を導入する。 推論連鎖の逆エントロピーに比例して回答を重み付けすることで、我々は並行多数派よりも成功率を高め、最適なテストタイムスケーリング戦略として確立する。 Wang et al の自己整合性復号 (Wang et al , 2022) 以来テスト時間スケーリングを支配してきた並列推論の正則性に根本的に挑戦し, 逐次改善を現代のLCM推論の堅牢なデフォルトとして位置づけ, 推論時間最適化へのアプローチにおけるパラダイムシフトの必要性を指摘した。

関連論文リスト

• Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing [4.707859580472452]
  仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。 シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。 本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
  論文  参考訳（メタデータ） (2025-10-24T18:41:26Z)
• The Virtues of Brevity: Avoid Overthinking in Parallel Test-Time Reasoning [0.7874708385247352]
  最短解を選択するための単純かつ直感的手法は極めて有効であることを示す。 このアプローチが自己整合性などの複雑な手法と競合していることを確認する。
  論文  参考訳（メタデータ） (2025-10-24T00:47:17Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute [32.915370020808105]
  ParaThinkerは、LLMをトレーニングして複数の多様な推論パスを並列に生成するエンドツーエンドフレームワークである。 トンネルビジョンの問題を効果的に回避し、モデルの潜在的推論可能性を解き放つ。 挑戦的な推論ベンチマークでは、ParaThinkerはシーケンシャルLLMよりもかなり精度が向上している。
  論文  参考訳（メタデータ） (2025-08-30T03:09:07Z)
• Adaptive Termination for Multi-round Parallel Reasoning: An Universal Semantic Entropy-Guided Framework [12.361554676966552]
  大規模言語モデル(LLM)の最近の進歩は、人工知能への進歩を加速させている。 逐次的および並列的推論パラダイムの相補的な長所を生かしたフレキシブルなテスト時協調推論フレームワークを設計することを目指している。
  論文  参考訳（メタデータ） (2025-07-09T13:28:35Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。