論文の概要: Predictable performance is suboptimal, and what it means for model routing

• arxiv url: http://arxiv.org/abs/2610.31428v1
• Date: Thu, 22 Oct 2026 15:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.424855
• Title: Predictable performance is suboptimal, and what it means for model routing
• Title（参考訳）: 予測可能なパフォーマンスは最適以下であり、モデルルーティングには何を意味するか
• Abstract要約: モデルがタスクに最適である場合にのみ、性能予測が単純なベースラインを上回ることが示される。 モデルが自己自信に勝る性能予測器は、モデル損失を改善するために使用できることを示す。
• 参考スコア（独自算出の注目度）: 38.85015166354312
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) differ in capabilities and costs, motivating routing methods that adaptively choose a model for each query. These methods rely on performance prediction: given a query, estimate whether a model will answer it correctly. Most routing methods train separate predictors of candidate models' performance to guide model selection. Our work shows that performance prediction only beats a simple baseline when the candidate model is suboptimal on the task or the performance predictor adds significant capacity relative to the candidate model. Specifically, we take a model's self-confidence, the probability it assigns to its chosen answer, as a baseline and study how much a performance predictor can improve on it. First, we show that any performance predictor that outperforms a model's self-confidence can be used to improve the model's loss: the predictor's advantage transfers exactly in log loss through recalibration. Second, accounting for the predictor's additional parameters, we bound its advantage by the model's suboptimality plus the gain from those parameters. Third, we extend our theoretical results to two-model cascades, which route queries to a more capable model when the first model is predicted to fail. Experiments with 16 language models on four benchmarks show that predictors gain a larger advantage over self-confidence on more suboptimal models. This advantage shrinks as models improve through finetuning. Cascading exhibits the same two patterns: predictor-based routing offers larger gains over confidence-based routing for more suboptimal models, and these gains diminish after finetuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は機能やコストに違いがあり、クエリ毎にモデルを適応的に選択するルーティング手法を動機付けている。 クエリが与えられたら、モデルがそれを正しく答えるかどうかを見積もる。 ほとんどのルーティング手法は、候補モデルの性能の別々の予測器を訓練し、モデル選択をガイドする。 本研究は,候補モデルがタスクに最適でない場合,あるいは性能予測器が候補モデルに対して有意な能力を与える場合にのみ,性能予測が単純なベースラインを上回ることを示す。 具体的には、モデルの自己自信、それが選択した回答に割り当てる確率をベースラインとして、パフォーマンス予測器がどの程度改善できるかを調査する。 まず,モデルの自己信頼性を上回る性能予測器は,モデルの損失を改善するために有効であることを示す。 第二に、予測子の追加パラメータを考慮に入れれば、モデルの亜最適性とそれらのパラメータの利得によって、その利点を負うことになる。 第3に、理論結果を2モデルカスケードに拡張し、最初のモデルが失敗すると予測されたときに、クエリをより有能なモデルにルーティングする。 4つのベンチマークで16の言語モデルを用いた実験により、予測子はより最適化されたモデルに対する自信よりも大きな優位性を得ることが示された。 この利点は、モデルが微調整によって改善するにつれて縮小する。 キャスケーディングは同じ2つのパターンを示す: 予測子ベースのルーティングは、より最適なモデルのための信頼性ベースのルーティングよりも大きなゲインを与え、これらは微調整後に減少する。

関連論文リスト

• Enhanced Multi-model Online Conformal Prediction [25.495949162960624]
  コンフォーマル予測(Conformal prediction)は、未確認データの予測セットを構成する不確実性定量化のためのフレームワークである。 これらの予測セットの効率は、そのサイズによって測定され、基礎となる学習モデルの選択に依存する。 この研究は、計算複雑性を低減し、予測効率を向上させる、新しいマルチモデルオンライン共形予測アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2026-01-04T23:44:43Z)
• Context-Aware Inference via Performance Forecasting in Decentralized Learning Networks [0.0]
  分散学習ネットワークでは、多くの参加者からの予測が組み合わされ、ネットワーク推論が生成される。 我々は,機械学習を用いて時系列の各エポックにおけるモデルによる予測性能を予測するモデルを開発した。
  論文  参考訳（メタデータ） (2025-10-07T20:30:21Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Establishing Task Scaling Laws via Compute-Efficient Model Ladders [136.76316239300363]
  我々は,事前訓練された言語モデル(LM)のタスク性能を予測するために,タスクスケーリング法則とモデルはしごを開発する。 2つの予測ステップのパラメータ化関数に適合するデータポイントを収集し、2つの対象モデルの予測を行う。 ランク付けされた4つの多重選択タスクにおいて、絶対誤差の2ポイント以内で、両方のターゲットモデルの精度を予測することができる。
  論文  参考訳（メタデータ） (2024-12-05T18:21:49Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。