論文の概要: Two Sample Sizes in Test-Time LLM Ensembling: Buffered ERM and Minimax Theory

• arxiv url: http://arxiv.org/abs/2610.21363v1
• Date: Thu, 15 Oct 2026 06:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.23515
• Title: Two Sample Sizes in Test-Time LLM Ensembling: Buffered ERM and Minimax Theory
• Title（参考訳）: 試験時間LDMにおける2つのサンプルサイズ:バッファリングEMMとミニマックス理論
• Abstract要約: テストタイムのスケーリングは、質問に対する複数の回答を生成し、それらを集約することによって、大きな言語モデルのパフォーマンスを向上させることができる。 重み付けアンサンブルは、各モデルの使用頻度を決定することで、複数のモデルから回答を学習する。 我々は,クリーンリスク,アンサンブルの無限世代投票規則の人口誤差を通じて,それらの相互作用を研究する。
• 参考スコア（独自算出の注目度）: 10.775492620004082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling can improve the performance of large language models by generating multiple answers to a question and aggregating them. Weighted ensembles extend this idea by drawing answers from several models, with the weights determining how often each model is used. Learning these weights from a training dataset involves two sample sizes: $Q$ labeled questions and $N$ generations per model and question. We study their interplay through the clean risk, the population error of the ensemble's infinite-generation voting rule. Under a margin condition with exponent $β$, we show that empirical risk minimization (ERM) with a calibrated margin buffer achieves excess risk of order $Q^{-1/2}+N^{-β/2}$, up to logarithmic factors, for fixed numbers of models and candidate answers. To investigate the optimality of this dependence on $Q$ and $N$, we analyze a simplified submodel with two models and two possible answers per question. We characterize its minimax excess risk up to constants by a Hellinger modulus for a binomial-mixture experiment. Polynomial approximation and spectral analysis reveal three regimes. When questions are relatively scarce, the $Q^{-1/2}$ term governs learning and the general buffered ERM is optimal. In an intermediate regime, pooling generation counts across questions improves upon estimating each answer distribution separately, with only logarithmic gains from additional questions. With sufficiently many questions, the minimax excess risk reaches an $N^{-β}$ identification floor that persists even with infinitely many questions. The submodel's lower bounds also apply to general ensembles, matching the buffered-ERM upper bound up to logarithmic factors when questions are scarce and in parts of the intermediate regime. Questions remain about the transitions between regimes and the construction of matching pooled estimators for general ensembles.
• Abstract（参考訳）: テストタイムのスケーリングは、質問に対する複数の回答を生成し、それらを集約することによって、大きな言語モデルのパフォーマンスを向上させることができる。 重み付きアンサンブルは、各モデルの使用頻度を決定する重みによって、複数のモデルからの回答を引き出すことによって、このアイデアを拡張している。 トレーニングデータセットからこれらの重みを学習するには、2つのサンプルサイズがある。 我々は,クリーンリスク,アンサンブルの無限世代投票規則の人口誤差を通じて,それらの相互作用を研究する。 指数$β$のマージン条件下では, モデル数や候補解に対して, 厳密化したマージンバッファを持つ経験的リスク最小化(ERM)が, 対数因子まで, 次数$Q^{-1/2}+N^{-β/2}$の過剰リスクを達成できることが示される。 Q$とN$に対するこの依存の最適性を調べるために、2つのモデルと2つの可能な解を持つ単純化されたサブモデルを解析する。 両相混合実験のためのHellinger modulusにより,その最小極超過リスクを定数まで特徴づける。 多項式近似とスペクトル分析により、3つの状態が明らかになった。 質問が比較的少ない場合、$Q^{-1/2}$項は学習を支配し、一般的なバッファリングされたERMは最適である。 中間的な状況下では、解答分布を別々に見積もると、解答数の生成が改善し、追加の質問から対数ゲインのみが得られる。 十分な数の質問で、ミニマックス超過リスクは、無限に多くの質問でも持続する識別フロアに$N^{-β}$に達する。 サブモデルの下位境界は一般的なアンサンブルにも適用され、質問が不足しているときと中間状態の一部で、バッファ化されたERM上の境界を対数的要因に一致させる。 体制間の遷移と、一般的なアンサンブルのための一致したプール推定器の構築に関する疑問が残る。

関連論文リスト

• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• A Complexity Measure for Active Learning in Multi-group Mean Estimation [8.550300650352732]
  マルチグループ平均バンドレート$d$-armed banditsにおけるemphmax-riskによるアクティブラーニングの目的について検討した。 学習者は、最悪の不確実性指数を最小限に抑えるために、$d$グループ全体で$T$サンプルの予算を適応的に割り当てる。 滑らかなクラスに対しては、$mathrmVLC$ は分散-フィッシャー情報の再パラメータ化であり、共通族に対する閉形式値を持つ。
  論文  参考訳（メタデータ） (2026-06-12T17:54:26Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Learning the score under shape constraints [7.005582630391827]
  正方形の$L2(P_0)$-lossに対するスコア推定の最小リスクについて検討する。 推定問題の2つの基本的な側面を捉えた対数凹密度のサブクラスを定義する。 後者のクラスに対するミニマックスリスクは、次数$L2/(2+1)n-/(2+1)$からpoly-logarithmic factorまでである。
  論文  参考訳（メタデータ） (2025-12-16T17:39:54Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。