論文の概要: RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment

• arxiv url: http://arxiv.org/abs/2604.22520v1
• Date: Fri, 24 Apr 2026 13:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.462409
• Title: RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment
• Title（参考訳）: RouteLMT: ハイブリッドLLM翻訳展開のためのサンプルルーティング
• Authors: Yingfeng Luo, Hongyu Liu, Dingyang Lin, Kaiyan Chang, Chenglong Wang, Bei Li, Quan Du, Tong Xiao, Jingbo Zhu,
• Abstract要約: 大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した 大規模に展開するのは 違法に高価です モデル内ルータである textbfRouteLMT を提案する。
• 参考スコア（独自算出の注目度）: 57.588738943463646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable performance in Machine Translation (MT), but deploying them at scale remains prohibitively expensive. A widely adopted remedy is the hybrid system paradigm, which balances cost and quality by serving most requests with a small model and selectively routing a fraction to a large model. However, existing routing strategies often rely on heuristics, external predictors, or absolute quality estimation, which fail to capture whether the large model actually provides a worthwhile improvement over the small one. In this paper, we formulate routing as a budget allocation problem and identify marginal gain, i.e., the large model's improvement over the small model, as the optimal signal for budgeted decisions. Building on this, we propose \textbf{RouteLMT} (routing for LLM-based MT), an efficient in-model router that predicts this expected gain by probing the small translators prompt-token representation, without requiring external models or hypothesis decoding. Extensive experiments demonstrate that our RouteLMT outperforms heuristics, quality/difficulty estimation baselines, achieving a superior quality-budget Pareto frontier. Furthermore, we analyze regression risks and show that a simple guarded variant can mitigate severe quality losses.
• Abstract（参考訳）: 大規模言語モデル (LLM) は機械翻訳 (MT) において顕著な性能を達成しているが、大規模に展開することは違法に高価である。 広く採用されている治療法はハイブリッドシステムパラダイムであり、ほとんどの要求を小さなモデルで提供し、断片を大きなモデルに選択的にルーティングすることで、コストと品質のバランスをとる。 しかし、既存のルーティング戦略は、しばしばヒューリスティックス、外部予測、あるいは絶対的な品質推定に依存しており、これは大きなモデルが実際に小さなモデルよりも価値のある改善を提供するかどうかを捉えるのに失敗する。 本稿では、予算配分問題としてルーティングを定式化し、予算決定のための最適な信号として、大モデルによる小モデルに対する改善の限界ゲインを同定する。 そこで我々は, 外部モデルや仮説復号を必要とせず, 小さなトランスレータのプロンプト・トーケン表現を探索することにより, 効率の良いインモデル・ルータである \textbf{RouteLMT} (LLM-based MT) を提案する。 大規模な実験により、我々のRouteLMTはヒューリスティックス、品質/差分推定ベースラインより優れ、より優れた品質予算のParetoフロンティアを実現していることが示された。 さらに、回帰リスクを分析し、単純なガード付き変種が深刻な品質損失を軽減できることを示す。

関連論文リスト

• Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints [18.52522897906341]
  大規模言語モデル(LLM)へのクエリルーティングの問題について検討する。 本稿では,各バッチの割り当てを協調的に最適化する,バッチレベルのリソース対応ルーティングフレームワークを提案する。 2つのマルチタスクベンチマークの実験では、非ロバストなベンチマークでは精度が1-14%向上している。
  論文  参考訳（メタデータ） (2026-03-25T22:24:11Z)
• Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
  マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。 AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。 5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-13T12:26:05Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models [23.345746575717545]
  LLMルーティングを$-VOR問題として定式化し、予測セットサイズを最小化し、不正なリスクを抑える。 提案するRACERは、ベースルータを出力モデルに拡張し、その後、出力を改善するために集約することができる。 理論的には、RACERはポストホックかつモデルに依存しない方法で、未確認テストデータに対して厳密な分布自由リスク制御を実現する。
  論文  参考訳（メタデータ） (2026-02-20T08:23:03Z)
• RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents [91.0187958746262]
  RouteMoAは動的ルーティングを備えた効率的な混合エージェントフレームワークである。 軽量スコアラを使用して、クエリから粗い粒度のパフォーマンスを予測することで、初期スクリーニングを行う。 既存のモデル出力に基づいて、軽量な自己評価とクロスアセスメントによってこれらのスコアを洗練し、追加の推論なしで後部修正を提供する。
  論文  参考訳（メタデータ） (2026-01-26T04:22:22Z)
• Confidence-Guided Stepwise Model Routing for Cost-Efficient Reasoning [20.41220110321494]
  コスト効率の良い推論のための信頼誘導ステップワイドモデルルーティングを提案する。 STEERはドメインに依存しないフレームワークで、小さくて大きな言語モデル間のきめ細かいステップレベルのルーティングを実行する。 その結果,モデルルーティングのための堅牢でドメインに依存しない信号として,モデル内部信頼が確立された。
  論文  参考訳（メタデータ） (2025-11-09T02:33:08Z)
• Uncertainty-Aware Collaborative System of Large and Small Models for Multimodal Sentiment Analysis [17.98292973608615]
  マルチモーダル感情分析のための強力なMLLMと軽量なベースラインモデルを編成する新しい不確実性認識協調システム(U-ACS)を提案する。 提案手法は,スタンドアロンのMLLMに比べて計算資源のごく一部しか必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T16:01:58Z)
• BEST-Route: Adaptive LLM Routing with Test-Time Optimal Compute [25.740809143951815]
  BEST-Routeは、クエリの難しさと品質閾値に基づいて、モデルとサンプルに対する応答数を選択する新しいルーティングフレームワークである。 実世界のデータセットを用いた実験により,提案手法はコストを最大60%削減し,性能低下は1%以下であった。
  論文  参考訳（メタデータ） (2025-06-28T01:52:50Z)
• Universal Model Routing for Efficient LLM Inference [69.86195589350264]
  モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である 動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。 これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
  大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。 コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。 実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
  論文  参考訳（メタデータ） (2024-04-22T23:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。