論文の概要: Small Language Models for Inference-Capability Routing: Effects of Model Capacity and Prompt Optimization on Downstream Quality and Efficiency
- arxiv url: http://arxiv.org/abs/2611.16414v1
- Date: Thu, 12 Nov 2026 07:25:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.388033
- Title: Small Language Models for Inference-Capability Routing: Effects of Model Capacity and Prompt Optimization on Downstream Quality and Efficiency
- Title(参考訳): 推論能力ルーティングのための小言語モデル:モデル容量とプロンプト最適化が下流品質と効率に及ぼす影響
- Abstract要約: 任意の推論、検索、Web検索、ツールの使用は、大きな言語モデル応答を改善するが、不特定にアクティベートされたときに不要な計算を引き起こす。
本研究では,高速最適化が限られたルータ容量を補うことができるか,分類ゲインが下流効率に変換されるかを検討する。
提案したフレームワークは、プロンプト駆動の小さな言語モデルを使用して、4つの独立した機能決定を行い、クエリ毎に複数の機能を選択することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optional reasoning, retrieval, web search, and tool use can improve large language model responses but incur unnecessary computation when activated indiscriminately. This study investigates whether prompt optimization can compensate for limited router capacity and whether classification gains translate into downstream efficiency. The proposed framework uses prompt-driven small language models to make four independent capability decisions, allowing multiple capabilities to be selected per query. Qwen2.5 routers ranging from 1.5B to 14B parameters are compared across five prompting strategies, followed by an evaluation of capability-specific optimized configurations using a fixed GPT-OSS-120B downstream model on 127 questions. Under minimal prompting, increasing router capacity does not consistently improve classification performance. Prompt optimization narrows the capacity gap for reasoning and calculator routing, whereas RAG and web search retain larger benefits from higher capacity. Similar classification F1 scores do not necessarily imply equivalent downstream behavior: false-positive activations increase unnecessary computation, while missed capabilities can reduce answer quality. The 14B router achieves a mean BERTScore F1 of 0.8408, compared with 0.8418 when all capabilities are enabled, while reducing average downstream token consumption by 68.7\% (8,837 to 2,764 tokens) and median downstream latency by 80.5\% (9.79 to 1.91 seconds). These savings exclude router overhead, which is measured separately in a different inference environment and increases with router capacity. The findings demonstrate that the relationship between router capacity, prompt design, and downstream efficiency is capability-dependent. Consequently, router selection must consider error profiles and routing overhead alongside classification performance.
- Abstract(参考訳): 任意の推論、検索、Web検索、ツールの使用は、大きな言語モデルの応答を改善するが、不特定にアクティベートされたときに不要な計算を引き起こす。
本研究では,高速最適化が限られたルータ容量を補うことができるか,分類ゲインが下流効率に変換されるかを検討する。
提案したフレームワークは、プロンプト駆動の小さな言語モデルを使用して、4つの独立した機能決定を行い、クエリ毎に複数の機能を選択することができる。
1.5Bから14BまでのQwen2.5ルータを5つのプロンプト戦略で比較し,127の質問に対してGPT-OSS-120Bのダウンストリームモデルを用いて,機能固有の最適化構成の評価を行った。
最小限のプロンプトの下では、ルータ容量の増加は、常に分類性能を向上しない。
プロンプト最適化は推論と電卓ルーティングのキャパシティギャップを狭めるが、RAGとWeb検索は高いキャパシティの利点を保っている。
類似の分類 F1 のスコアは必ずしも下流の動作と同等ではない: 偽陽性のアクティベーションは不要な計算量を増加させる一方、欠落した能力は応答品質を低下させる。
14Bルータは、すべての機能を有効にすると平均BERTScore F1の0.8408を0.8418と比較し、平均ダウンストリームトークン消費量を68.7\%(8,837〜2,764トークン)、中央ダウンストリームレイテンシを80.5\%(9.79〜1.91秒)削減する。
これらの貯蓄は、異なる推論環境で別々に測定されるルータのオーバーヘッドを除外し、ルータ容量を増大させる。
その結果, ルータ容量, 迅速な設計, 下流効率の関係は能力に依存していることがわかった。
したがって、ルータの選択は、分類性能と並行してエラープロファイルとルーティングオーバーヘッドを考慮する必要がある。
関連論文リスト
- LRCC: Generalizing Low-Rank Compression with Conditional Computation [6.054436681330252]
LRCC(Low-Rank Conditional Computation)を導入する。
LRCCは、Transformerブロック毎に1つの軽量ルータをトレーニングし、ネストされた低ランクパスの小さなセットの中から選択することで、事前訓練されたモデルにトークン依存を追加する。
言語モデルとゼロショットダウンストリームタスクのためのLlamaおよびQwenモデル上でLRCCを評価する。
論文 参考訳(メタデータ) (2026-10-05T09:01:51Z) - RecGPT-Mobile-V2 Technical Report [22.10290138930905]
RecGPT-Mobile-V2は、意図的品質と実行効率をステージド設計の目的として扱うエンドツーエンドフレームワークである。
このフレームワークは異種間相互作用をエビデンス保存軌道に変換し、ドメイン適応と教師付きアライメントを通じてレコメンデーションネイティブ基盤を確立する。
オンライン検索分析では、クエリリコールチャネルは、確立されたリコールチャネルによってサーフェスされたインベントリに補完されるインベントリを検索することを示している。
論文 参考訳(メタデータ) (2026-08-25T09:23:17Z) - ConsRoute:Consistency-Aware Adaptive Query Routing for Cloud-Edge-Device Large Language Models [7.869130026927]
ConsRouteは、大規模言語モデルのための軽量でセマンティックな、適応的なルーティングフレームワークである。
ConsRouteは、エンドツーエンドのレイテンシと推論コストを40%近く削減しながら、ほぼクラウドのパフォーマンス(=95%)を達成することを示す。
論文 参考訳(メタデータ) (2026-03-22T13:54:12Z) - Fantastic Pretraining Optimizers and Where to Find Them [59.56075036649332]
AdamWは長い間、言語モデルの事前訓練において支配的な勾配だった。
行列ベースの行列の高速化はモデルスケールに逆比例する。
論文 参考訳(メタデータ) (2025-09-02T07:43:22Z) - Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。
APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。
鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
論文 参考訳(メタデータ) (2025-04-21T22:29:02Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳(メタデータ) (2022-04-15T10:21:05Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳(メタデータ) (2021-10-21T06:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。