論文の概要: Signed Rescue Routing: Harm-Aware Cascades for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2609.07786v1
• Date: Mon, 07 Sep 2026 17:31:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 21:00:58.044595
• Title: Signed Rescue Routing: Harm-Aware Cascades for Efficient LLM Inference
• Title（参考訳）: 符号付きレスキュールーティング:効率的なLCM推論のためのハーム対応カスケード
• Abstract要約: 大規模な言語モデルカスケードは、小さなモデルで簡単なリクエストに答え、選択したリクエストをより大きなモデルにエスカレートする。 このプロキシは決定的な事実を無視している: エスカレーションは、大きなモデルが小さなモデルを修正した場合にのみ有用であり、大きなモデルが正しい答えを間違ったモデルに置き換えた時に有害である。 本稿では,これら2つのイベントを個別に予測し,その差分で要求をランク付けするSRR(Signed Rescue Routing)を提案する。
• 参考スコア（独自算出の注目度）: 18.473413242504503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) cascades answer easy requests with a small model and escalate selected requests to a larger model. Most routers prioritize examples on which the small model appears uncertain or likely to be wrong. This proxy ignores a decisive fact: escalation is useful only when the large model corrects the small model, and it is harmful when the large model replaces a correct answer with an incorrect one. We introduce Signed Rescue Routing (SRR), a budgeted routing method that predicts these two events separately and ranks requests by their difference. We show that this signed conditional gain is the Bayes-optimal routing score under a fixed escalation budget. SRR requires only the small model's output statistics at deployment and adds a lightweight two-head router. We evaluate SRR with Qwen3-4B and Qwen3-8B on TBD examples from MMLU, HellaSwag, and ARC-Challenge. Across the accuracy-compute curve, SRR reaches an area of TBD, compared with TBD for a learned small-model error predictor and TBD for entropy routing. These results show that predicting incremental value, rather than model uncertainty, is a simple and effective objective for efficient LLM cascades.
• Abstract（参考訳）: 大きな言語モデル(LLM)のカスケードは、小さなモデルで簡単なリクエストに答え、選択したリクエストを大きなモデルにエスカレーションする。 ほとんどのルータは、小さなモデルが不確実である、あるいは間違っていると思われる例を優先している。 このプロキシは決定的な事実を無視している: エスカレーションは、大きなモデルが小さなモデルを修正した場合にのみ有用であり、大きなモデルが正しい答えを間違ったモデルに置き換えた時に有害である。 本稿では,これら2つのイベントを個別に予測し,その差分で要求をランク付けするSRR(Signed Rescue Routing)を提案する。 この符号付き条件付き利得は、固定エスカレーション予算の下でのベイズ最適ルーティングスコアであることを示す。 SRRは、配備時に小さなモデルの出力統計のみを必要とし、軽量な2ヘッドルータを追加する。 MMLU, HellaSwag, ARC-ChallengeのTBD例から, Qwen3-4B, Qwen3-8Bを用いてSRRを評価した。 精度計算曲線全体で、SRRは、学習された小モデル誤差予測器のTBDとエントロピールーティングのTBDと比較すると、TBDの領域に達する。 これらの結果から,モデル不確実性よりも増分値を予測することが,効率的なLCMカスケードの簡便かつ効果的な目的であることが示唆された。

関連論文リスト

• Pro-Router: Token-Aware Progressive Model Routing with Adaptive Edge-Cloud Collaboration for Efficient Multimodal LLM Inference [5.997400745120167]
  本稿では,効率的なマルチモーダル推論のための適応型エッジクラウド協調型トークン対応プログレッシブモデルルーティング手法を提案する。 Pro-Theaterは2段階のプログレッシブ決定機構を採用している。第1に、トークン生成開始前に軽量プロプロンプトプレスコラモジュールが高速プレスクリーニングを行う。 第二に、トークン認識検証器は、小さなモデルが生成する各トークンのサンプリング確率分布を読み出し、モデルが自身の出力に対して自信を推定し、要求に応じて、答えが出荷されるか、エスカレートされるかを決定する。
  論文  参考訳（メタデータ） (2026-08-28T16:45:58Z)
• A Systematic Sample Size Analysis of ML-Based Path Loss Prediction for LPWAN [1.411614392022118]
  LoRaのような低電力広域ネットワークは、スマートシティのアプリケーションにますます利用されている。 伝統的な(経験的な)伝播モデルは、これらのシナリオにおいて限られた精度を示すことが多い。 本稿では,LoRa経路損失予測のための機械学習モデルについて検討する。
  論文  参考訳（メタデータ） (2026-08-11T15:48:54Z)
• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving [69.5155152169752]
  大規模言語モデル(LLM)のための2段階カスケードソリューションを提案する。 ステージ1は、受信するクエリをクラスタ化し、各クラスタを最もコスト効率の良いモデルに割り当てる。 ステージ2は品質推定(QE)カスケードを追加し、ステージ1からの出力が低品質であると判断されると、クエリはより強力なモデルにエスカレーションされる。 テストデータセットでは、カスケードシステムは最強モデルの精度の97-99%を保持し、TPOT(Time Per Output Token)を削減している。 タスクの正確性ラベルのみを必要とし、手動で再構成することなくモデルプールの変更に適応する。
  論文  参考訳（メタデータ） (2026-06-25T18:29:24Z)
• From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing [79.19755531338872]
  既存のルーティングメソッドは、クエリに対するモデルの単一応答を、トレーニングの能力ラベルとして扱う。 この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。 本稿では, DARS(Distribution-Aware Routing Supervision)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T05:42:00Z)
• RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
  大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した 大規模に展開するのは 違法に高価です モデル内ルータである textbfRouteLMT を提案する。
  論文  参考訳（メタデータ） (2026-04-24T13:02:45Z)
• Tiny-Critic RAG: Empowering Agentic Fallback with Parameter-Efficient Small Language Models [7.704706624419061]
  Retrieval-Augmented Generations Grounds Large Language Models (LLMs) は、事実の幻覚を緩和する。 低ランク適応(LoRA)を用いたパラメータ効率小言語モデル(SLM)Tiny-Critic RAGを提案する。 Tiny-Critic RAGはGPT-4o-miniに匹敵するルーティング精度を達成し、レイテンシを桁違いに低減する。
  論文  参考訳（メタデータ） (2026-03-01T00:16:31Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。