論文の概要: Who Pays for Efficient Inference? Confidence-Based Small-to-Large LLM Routing Across Tasks and Languages

• arxiv url: http://arxiv.org/abs/2610.23249v1
• Date: Fri, 16 Oct 2026 10:23:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.872472
• Title: Who Pays for Efficient Inference? Confidence-Based Small-to-Large LLM Routing Across Tasks and Languages
• Title（参考訳）: 効率的な推論の代償は誰か? 信頼に基づくタスクと言語間のLLMルーティング
• Abstract要約: 本稿では,3つのモデルファミリー,4つの言語,3つのタスクタイプにまたがる信頼度に基づくルーティングの体系的評価を行う。 我々は,大域的信頼度ルーティングとランダムなルーティング,等クォータ的信頼度ルーティング,およびオラクル上界を比較した。 これらの結果から、信頼性ルーティングはタスク依存であり、言語間で不均一に計算を割り当てることができることがわかった。
• 参考スコア（独自算出の注目度）: 2.0524609401792397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small-to-large language model routing can reduce inference cost by escalating difficult inputs while retaining easier ones on a smaller model. Its success, however, depends on identifying examples that benefit from escalation, and the reliability of confidence across multilingual tasks remains unclear. We present a systematic evaluation of confidence-based routing across three model families, four languages, and three task types, covering 72 model, dataset, language, and scale configurations and 42,288 predictions. We compare global confidence routing with random routing, equal-quota confidence routing, and an oracle upper bound. Confidence identifies beneficial escalations on the Belebele reading comprehension and SIB-200 topic classification datasets, with mean correction-detection AUCs of 0.612 and 0.705. At 50% escalation, it improves over random routing by 1.40--4.67 percentage points on Belebele and 2.54--5.63 points on SIB-200. In contrast, the mean AUC on the MMLU-ProX-Lite knowledge and reasoning dataset is only 0.510, and routing provides no consistent improvement over random selection because small models often remain highly confident while incorrect. Global confidence routing also creates language escalation gaps up to 30.33 percentage points, whereas equal-quota routing removes this disparity with little aggregate accuracy cost. These results show that confidence routing is task-dependent and can allocate computation unevenly across languages. Code is available at https://github.com/sabbir5622r/multilingual-llm-routing
• Abstract（参考訳）: 小さいから大きい言語モデルルーティングは、より簡単な入力を小さなモデルに保持しながら、難解な入力をエスカレートすることで、推論コストを削減することができる。 しかし、その成功はエスカレーションの恩恵を受ける例を特定することに依存しており、多言語タスク間の信頼の信頼性は依然として不明である。 72のモデル,データセット,言語,スケール構成,42,288の予測を含む3つのモデルファミリー,4つの言語,3つのタスクタイプにまたがる信頼に基づくルーティングの体系的評価を行う。 我々は,大域的信頼度ルーティングとランダムなルーティング,等クォータ的信頼度ルーティング,およびオラクル上界を比較した。 信頼性はベレベレ読解とSIB-200トピック分類データセットにおける有益なエスカレーションを特定し、平均補正検出AUCは0.612と0.705である。 50%のエスカレーションで、ベレベレでは1.40--4.67ポイント、SIB-200では2.54--5.63ポイント、ランダムルーティングよりも改善されている。 対照的に、MMLU-ProX-Lite知識と推論データセットの平均AUCは0.510に過ぎず、ルーティングがランダム選択よりも一貫した改善をもたらすことはない。 グローバルな信頼度ルーティングはまた、言語エスカレーションのギャップを最大30.33ポイント生成する一方、等クォータルーティングは、この差を集約精度の低いコストで除去する。 これらの結果から、信頼性ルーティングはタスク依存であり、言語間で不均一に計算を割り当てることができることがわかった。 コードはhttps://github.com/sabbir5622r/multilingual-llm-routingで入手できる。

関連論文リスト

• ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals [0.4779196219827507]
  本稿では、内部言語モデル信号を用いて専門家の能力を予測する軽量なポストホックルーティングフレームワークであるScoutRouteを提案する。 ScoutRouteは、単一のスカウトモデル推論のみを必要としながら、個々のルーティングシグナルを一貫して上回る。
  論文  参考訳（メタデータ） (2026-10-16T13:25:53Z)
• Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI [0.0]
  我々は15のアフリカ諸言語にまたがる自然言語の推論について検討した。 AfriXNLIはXNLIに由来するため、英語、フランス語、スワヒリの構成はXNLIで訓練されたモデルのクリーンな評価には役立たない。 我々の中心的な方法論的発見は、表現統計学は、ある計算的利益の概念に対して統計的に有意であり、他方とは無関係であるということである。
  論文  参考訳（メタデータ） (2026-08-19T15:03:51Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• A Cost-Efficient Routing Pipeline for Multilingual Short-Text Classification Using Small Language Models [0.0]
  我々は、より強力な言語を直接多言語経路で維持する固定リストルーティング戦略を評価する。 ゼロショット分類の前に、より弱い言語を英語に翻訳することで選択的に送信する。 パイプラインは完全に自己ホストされ、訓練済みのコンパクト文エンコーダを使用し、タスク固有の微調整を必要としない。
  論文  参考訳（メタデータ） (2026-08-11T14:06:53Z)
• Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation [20.39535344813245]
  予測確率のような内部信号に基づく教師なしのアプローチは、正確性ではなく選択肢間の確実性を反映しているため、誤解を招く可能性がある。 我々は,これらの欠点を伴わずにLLM毎の信頼度を抽出し,その信頼性をモデルの内部信号の確実性と比較する5つの言語化手法を考案した。 内部的手法と言語的手法の相関はほとんど見つからない。
  論文  参考訳（メタデータ） (2026-06-15T19:27:47Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Benchmarking Cross-Lingual Semantic Alignment in Multilingual Embeddings [0.0]
  タスク駆動ベンチマーク(MTEB)は基本的なアライメントの欠点を隠蔽する可能性がある。 意味的親和性 (Semantic Affinity, SA) は, 言語間比と言語内拡散比の有界(0, 1)の測定値である。 4つのデータセット(52の実験)に13のモデルをベンチマークすると、3層構造が明らかになる。
  論文  参考訳（メタデータ） (2025-12-29T14:32:57Z)
• DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
  DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。 エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
  論文  参考訳（メタデータ） (2023-11-10T20:09:08Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。