論文の概要: TRIAGE: Reliability- and Load-Conditioned Escalation for Two-Tier LLM Serving with a Semantic Evidence Judge

• arxiv url: http://arxiv.org/abs/2611.01174v1
• Date: Sat, 31 Oct 2026 18:25:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:33:21.582253
• Title: TRIAGE: Reliability- and Load-Conditioned Escalation for Two-Tier LLM Serving with a Semantic Evidence Judge
• Title（参考訳）: TRIAGE:セマンティック・エビデンス・ジャッジを用いた2層LDMの信頼性と負荷条件のエスカレーション
• Abstract要約: 小さいモデルから大きなモデルへ選択された要求をエスカレートする2層LSMを提供するが、プロンプトベースのルータは、検索された証拠が答えを支持するかどうかを判断できない。 本稿では,次世代の信頼性状態と負荷依存GPU価格でエスカレーションを条件とするTRIAGEについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Two-tier LLM serving escalates selected requests from a small model to a large one, but prompt-based routers cannot see whether retrieved evidence supports an answer, and they treat the GPU cost of an escalation as constant. We study TRIAGE, which conditions escalation on a post-generation reliability state and on a load-dependent GPU price, and we report both what held and what did not on one A40 serving Qwen2.5-7B and 32B (AWQ) under VLLM. Escalation cost rose 21.9x from 1 to 10 requests/s but showed no monotone dependence on KV-cache headroom, and a pre-registered claim that the reliability state detects corrupted evidence (AUROC>=0.70) was falsified at 0.571, although any prompt-only router scores exactly 0.500 by construction. Post hoc, a semantic evidence judge raised detection to 0.846 (0.926 on never-served items) and predicted wrong small-model answers at AUROC 0.90-0.96 on RGB and three RouterBench model pairs; the resulting cascade stayed within about 3 pp of GPT-4 at 79.5% lower API cost for GPT-3.5->GPT-4, yet fell below random routing for open-model pairs with 2-3x price ratios. End to end, the 7B->32B pair showed only a +2.88 pp held-out gap, so the allocator rightly declined to escalate and the headline is a null that a small pre-launch gate failed to expose.
• Abstract（参考訳）: 小さなモデルから大きなモデルへ選択された要求をエスカレーションする2層LSMを提供するが、プロンプトベースのルータは、取得したエビデンスが回答をサポートするかどうかを判断できず、エスカレーションのGPUコストを一定として扱う。 VLLMの下でQwen2.5-7Bと32B(AWQ)を提供する1つのA40に対して保持されたものとしなかったものの両方を報告する。 Escalation cost rose 21.9x from 1 to 10 request/s, showed no monotonedependent on KV-cache headroom, and a pre-registered claim that the reliability state detected evidence (AUROC>=0.70) was falsified at 0.571, but any prompt-only router scores exactly 0.500 by construction。 後、セマンティック・エビデンス・ジャッジ(英語版)は0.846 (0.926 on never-served items)に検出し、RGB上のAUROC 0.90-0.96と3つのルーターベンチモデルペアの誤答を予測し、その結果カスケードはGPT-3.5->GPT-4のAPIコストを79.5%下回ったが、2-3倍の価格比を持つオープンモデルペアのランダムなルーティングを下回った。 最終的に7B->32Bペアは+2.88 ppのホールドアウトギャップしか示さなかったため、アロケータはエスカレートを拒否し、ヘッドラインは小さなプレローンチゲートが露出しなかったヌルである。

関連論文リスト

• Trust Mechanisms for Offline Generative AI at the Edge: A Connectivity-Regime Framework and an Empirical Study on a Raspberry Pi 5 [45.88028371034407]
  ジェネレーティブAIと大規模言語モデル(LLM)がモノのインターネットに移行しつつある。 ほとんどのデプロイメントはクラウド接続を前提としており、多くのIoT設定は断続的、制限的、あるいは接続不能である。 提案するコネクティビティ・レジーム・フレームワーク (C0-C4) は, 推論時信頼機構の分類法であり, 署名されたバージョン付き知識パックである。
  論文  参考訳（メタデータ） (2026-10-24T15:23:25Z)
• Verification Turns Capability Gaps into Routing Decisions: Small Language Models for Clinical Documentation [0.10874100424278173]
  医師-患者対話による臨床ノート生成は高用量および幻覚消失である。 エージェントのエンフェリフィケーションアーキテクチャが、ジェネレータスケールではなく、ここで小さな言語モデルを実現することができるかどうかを問う。
  論文  参考訳（メタデータ） (2026-10-13T20:34:14Z)
• Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM [0.0]
  我々は、宣言された列挙式から型付き値を返す非生成的決定モデルと、ネイティブな確率と、テキストなしで比較する。 どちらもLLM-AggreFactの495人の人間による主張に答えている。 この2つの系は、通常187倍のコスト差で -0.56 点の対差 Jev minus Astra で統計的に区別できない。
  論文  参考訳（メタデータ） (2026-09-30T15:32:51Z)
• From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
  視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
  論文  参考訳（メタデータ） (2026-09-29T17:49:07Z)
• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement [2.8129261352670003]
  我々は、調達をコストに配慮したルーティング問題として扱う統計第一のゲーティングアーキテクチャであるsysを提案する。 ゲートは間隔が狭く、サンプルサイズが適切で、軸が一致する場合にのみ決定を受理する。 コンサイドの勝利率は0.80、ポジションフリップ率は52%である。
  論文  参考訳（メタデータ） (2026-07-21T10:52:04Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。