論文の概要: Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself

• arxiv url: http://arxiv.org/abs/2610.07354v1
• Date: Mon, 05 Oct 2026 20:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.650603
• Title: Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself
• Title（参考訳）: LLMルーティングにおけるエスカレーション信号の評価 - 目標, 制御, 自分自身を刺激するための5つの方法
• Abstract要約: セマンティックエントロピーは,小モデルの誤りを確実に識別し,ランダムエスカレーションよりも経路精度を向上させることを示す。 また、AUROC 0.908から確率レベル0.518までの崩壊を正確に予測することで、新しいデータセットで機能するかどうかの予測方法も示しています。
• 参考スコア（独自算出の注目度）: 1.43494686131174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deciding when to escalate a query from a small language model to a larger one requires a cheap signal that predicts, before the large model is called, whether escalating would help. Semantic entropy, originally developed to detect hallucinations, is a natural candidate: it measures how much a model's sampled answers disagree in meaning, and high disagreement often signals an unreliable answer. We test it across three benchmarks and two model families. On GSM8K, with a small/large pair about twelve times apart in size, semantic entropy reliably distinguishes the small model's mistakes (AUROC 0.871) and improves routed accuracy over random escalation by up to nine points at matched cost. An earlier strong-looking result on a synthetic benchmark proved misleading: a simple rule based only on question difficulty, with no model involved, matched semantic entropy almost exactly. This paper's main contribution is a set of checks that catch this before it is reported as real. We show that scoring a cheap, question-only difficulty estimate alongside any signal reveals whether the signal adds real information or just tracks how hard a question looks; that two reasonable definitions of "escalation worked" can produce very different results on the same data; that a benchmark can leave almost no room for any signal to beat simply always using the large model; and that the true cost of live sampling can make routing more expensive than calling the large model directly. For a cheaper alternative that reuses cached past outcomes, we show how to predict whether it will work on a new dataset -- confirmed by correctly forecasting a collapse from AUROC 0.908 to chance level (0.518) ahead of time. We offer these as a general checklist for evaluating escalation signals.
• Abstract（参考訳）: クエリを小さな言語モデルから大きなモデルにエスカレートするタイミングを決定するには、エスカレーションが役立つかどうかに関わらず、大きなモデルが呼び出される前に予測する安価な信号が必要である。 セマンティックエントロピー(Semantic entropy)は、もともと幻覚を検出するために開発された、自然の候補である。 3つのベンチマークと2つのモデルファミリでテストしています。 GSM8Kでは、小/大対が約12倍の大きさで、セマンティックエントロピーは小さなモデルの誤り(AUROC 0.871)を確実に区別し、一致したコストで最大9ポイントのランダムエスカレーションによる経路精度を向上させる。 単純なルールは疑問の難しさにのみ基づいて、モデルが関与せず、ほぼ正確に一致したセマンティックエントロピーである。 この論文の主な貢献は、実際に報告される前に、これをキャッチする一連のチェックである。 我々は、信号が実際の情報を追加するのか、それとも、どれだけ難しいかを追跡するのに、信号のスコアが安くて質問のみの難易度を見積もると、同じデータ上で2つの妥当な定義が全く異なる結果をもたらすこと、ベンチマークが、常に大きなモデルを使うのに勝つ余地をほとんど残さないこと、ライブサンプリングの真のコストは、大きなモデルを直接呼ぶよりも、ルーティングをもっと高くすることができることを示している。 キャッシュされた過去の結果を再利用する安価な代替手段として、新しいデータセットで機能するかどうかを予測する方法を示します。 我々は、エスカレーション信号を評価するための一般的なチェックリストとしてこれらを提供する。

関連論文リスト

• No Universal Signal Predicts Sample-Level LLM Regression under Version Updates [2.6426981014417055]
  本稿では、推定時に利用可能な信号からそのような回帰を予測する方法について検討する。 実践者は、これらのタスクレベルのパターンを使用して、所定の更新に対して信頼するレグレッションシグナルを選択することができる。
  論文  参考訳（メタデータ） (2026-08-11T15:13:12Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Cross-Model Disagreement as a Label-Free Correctness Signal [10.66607150500579]
  クロスモデル不一致は、既存の生産システムにドロップできる正確性指標である。 検証モデルからの生成は不要であり、正当性ラベルは不要である。 その結果、ラベルなしの正当性推定に対する実践的で訓練のないアプローチとして、クロスモデル不一致が確立された。
  論文  参考訳（メタデータ） (2026-03-26T13:46:22Z)
• Modeling and Predicting Multi-Turn Answer Instability in Large Language Models [5.136381688235197]
  大規模言語モデル(LLM)は、ますます広範囲のアプリケーションで採用されている。 本稿では,モデルの応答変化を評価するために,単純なマルチターンフォローアッププロンプトを用いる。 単純な"Think again"プロンプトによって、Gemini 1.5 Flashが9ターンで約10%の精度が低下したことが分かりました。
  論文  参考訳（メタデータ） (2025-11-12T01:48:23Z)
• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• AffineGlue: Joint Matching and Robust Estimation [74.04609046690913]
  AffineGlue, 連立2視点特徴マッチングとロバストな推定法を提案する。 AffineGlueは、最小限のモデルを推定するために、1対多の対応から潜在的なマッチを選択する。 ガイドマッチングはモデルと一致した一致を見つけるために使用され、1対1の一致の曖昧さに悩まされる。
  論文  参考訳（メタデータ） (2023-07-28T08:05:36Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。