論文の概要: When Strong Reasoners Join the Pool: Small Union Premiums and Costly Runaway Generations in LLM Routing

• arxiv url: http://arxiv.org/abs/2611.04098v1
• Date: Tue, 03 Nov 2026 00:17:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:31:30.013146
• Title: When Strong Reasoners Join the Pool: Small Union Premiums and Costly Runaway Generations in LLM Routing
• Title（参考訳）: プールに強いレゾネーターが加わった時: LLMルーティングにおける小さなユニオンプレミアムとコストのかかるアウトウェイジェネレーション
• Abstract要約: 本研究は,複数のモデルを呼び出し,正しい回答を維持するためのプレミアムを計測する。 1つのNVIDIA B300上で、固定プロトコールでプリコミットされた世代で測定する。 2つの理由付けモデルはどちらも96.1%の精度で70Bベースラインの76.2%に到達した。
• 参考スコア（独自算出の注目度）: 0.10152838128195468
• License:
• Abstract: Routing benchmarks often judge a router against a hindsight oracle that counts a query as solved whenever any model's recorded answer is correct, but under stochastic decoding that oracle mixes two different objects: the clairvoyant ceiling of committing to one model per query and the premium of calling several models and keeping any correct answer. A companion study measured this premium at 3.5 percentage points (pp) for 11 small open models on MATH-500; how large it is once current reasoning models enter the pool was unknown. We measure it with a fixed-protocol, pre-committed generation on a single NVIDIA B300: all 500 MATH-500 problems, 30 seeded samples per problem, Llama-3.3-70B-Instruct and NVIDIA's Nemotron Nano 9B v2 and Nemotron Super 49B v1.5 (a NAS derivative of the same 70B) under vendor sampling, a 65,536-token cap, a pinned Math-Verify scorer, and an append-only attempt ledger, for 45,000 scored responses. The two reasoning models both reach 96.1% accuracy against 76.2% for the 70B baseline. The empirical product-coupling premium is 0.215-0.588 pp across all two- and three-model pools; the empirical plug-in selection headroom over always calling Nano is 1.27 pp; and resampling Nano three times gives practically the same empirical any-correct rate as calling all three models once. Only 31 responses reached the cap, 25 of them with exactly periodic tails, yet the capped responses account for up to 60.2% of a model's output-length-squared proxy, and long generations made a fourth planned model, Llama-3.1-8B, too slow to finish. The premium is far below the companion's 3.5 pp, but models, pool size and protocol changed together; an oracle gap should therefore be reported with the pool, the protocol, the samples per cell and the decoding budget that produced it.
• Abstract（参考訳）: ルーティングベンチマークは、任意のモデルの正解が正解するたびにクエリをカウントするルータに対して、ルータを判断することが多いが、確率的復号化の下では、オラクルは2つの異なるオブジェクトを混合する:クエリ毎に1つのモデルにコミットする透視的天井と、複数のモデルを呼び出して正しい回答を維持するプレミアムである。 共同研究では、MATH-500で11個の小さなオープンモデルに対して3.5パーセント(pp)でこのプレミアムを測定した。 我々は、一台のNVIDIA B300上で、500のMATH-500問題、30のシードサンプル、Llama-3.3-70B-インストラクション、NVIDIAのNemotron Nano 9B v2とNemotron Super 49B v1.5(同じ70BのNAS誘導体)、65,536トンのキャップ、ピン付きMath-Verifyスコアラー、追加専用の試薬など、固定プロトコールでプレコミットされた世代で測定した。 2つの理由付けモデルはどちらも96.1%の精度で70Bベースラインの76.2%に到達した。 実証製品カップリングプレミアムは、2モデルと3モデル全てのプールで0.215-0.588pp、常にNanoを呼び出している経験的なプラグイン選択ヘッドルームは1.27pp、Nanoを3回再サンプリングすると3モデル全てを一度呼び出すのとほぼ同じ実験的な非正しいレートが得られる。 わずか31の応答のみが上限に達し、25の応答は正確に周期的な尾を持つが、カプセル化された応答はモデルの出力長2乗プロキシの最大60.2%を占め、長い世代が4番目の計画されたモデルであるLlama-3.1-8Bは完成には遅すぎた。 プレミアムは3.5ppよりはるかに低いが、モデル、プールサイズ、プロトコルは変更され、そのため、プール、プロトコル、セル毎のサンプル、そしてそれを生成したデコード予算によって、オラクルギャップが報告されるべきである。

関連論文リスト

• TRIAGE: Reliability- and Load-Conditioned Escalation for Two-Tier LLM Serving with a Semantic Evidence Judge [0.0]
  小さいモデルから大きなモデルへ選択された要求をエスカレートする2層LSMを提供するが、プロンプトベースのルータは、検索された証拠が答えを支持するかどうかを判断できない。 本稿では,次世代の信頼性状態と負荷依存GPU価格でエスカレーションを条件とするTRIAGEについて検討する。
  論文  参考訳（メタデータ） (2026-10-31T18:25:45Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
  多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。 このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
  論文  参考訳（メタデータ） (2026-08-11T20:08:51Z)
• When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
  マルチモデルLPMシステムは単一モデルの精度を上回ります。 彼らの利益は、ほとんど報告されない量で占められていることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:06:06Z)
• Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
  予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。 既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。 マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-29T03:44:19Z)
• Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
  一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。 我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。 Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
  論文  参考訳（メタデータ） (2025-08-05T16:28:22Z)
• Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models [192.5620883942846]
  ネモトロン-Hは8Bと56B/47Bハイブリッド・マンバ・トランスフォーマーのファミリーである。 私たちは共通のTransformerモデルアーキテクチャにおけるほとんどの自己注意レイヤをMambaレイヤに置き換えます。 Nemotron-Hモデルは、他の同様のサイズのオープンソーストランスフォーマーモデルと比較して、精度が良いか低いかのどちらかを提供する。
  論文  参考訳（メタデータ） (2025-04-04T17:41:58Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。