論文の概要: Optimal Model Activation Policies for Inference Networks of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.15992v1
• Date: Tue, 07 Jul 2026 21:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.527219
• Title: Optimal Model Activation Policies for Inference Networks of Large Language Models
• Title（参考訳）: 大規模言語モデルの推論ネットワークのための最適モデルアクティベーションポリシー
• Abstract要約: ノードが異なる大言語モデル(LLM)を示す推論ネットワークを導入する。 対象性能制約に対する予測推論コストを最小限に抑えるため,これらのモデルの最適活性化の問題を定式化する。 オープンソースのLLMによる実験では、特定のパフォーマンス予算を満たしながら、大幅なコスト削減が示されている。
• 参考スコア（独自算出の注目度）: 4.44483539967295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have rendered them necessary for Natural Language Processing (NLP) tasks, and their high inference cost motivates the study of cost-performance trade-offs. In practice, several expert LLMs are used in synergy for inference, either in an ensemble mode or in series, yet without a principled approach on how to best use the available models. An adaptive approach can route simple queries to cheaper LLMs and complex ones to more capable, costly models. However, a clear understanding on how to best leverage available expert models is missing. We introduce inference networks, a graph-based framework, where nodes denote different LLMs, and links denote conditional model activations. The inference network design problem is to determine the best topology, namely the best way to use the models that best addresses the cost-performance trade-off. We start from the basic topology of a series of LLM experts, each of which has a different cost and a different level of expertise, which is captured via model confidence. We formulate the problem of optimal activation of these models so as to minimize the expected inference cost subject to a target performance constraint. For this special class of inference networks, we prove that the optimal activation policy has a threshold structure: query the lowest-cost LLM first, and invoke the more expensive LLM only if the confidence falls below a defined threshold. For discriminative tasks, the optimal policy consists of a set of thresholds, one threshold for each class, while for generative tasks, it consists of a single threshold. We provide a structured method to compute the thresholds, and practical confidence estimation mechanisms for both task types. Experiments with open-source LLMs show substantial cost reductions while meeting the specified performance budget.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、自然言語処理(NLP)タスクに必要なものとなり、その高い推論コストは、コストパフォーマンストレードオフの研究を動機付けている。 実際には、いくつかの専門家のLLMは、アンサンブルモードでもシリーズでも、推論のためにシナジーに使用されるが、利用可能なモデルを最大限に活用する方法に関する原則的なアプローチは持っていない。 適応的なアプローチでは、単純なクエリをより安価なLCMや複雑なクエリにルーティングし、より有能でコストのかかるモデルにルーティングすることができる。 しかし、利用可能なエキスパートモデルを最大限に活用する方法に関する明確な理解が欠けている。 我々は,ノードが異なるLLMを示すグラフベースのフレームワークである推論ネットワークを導入し,リンクは条件付きモデルのアクティベーションを表す。 推論ネットワーク設計問題は、最良のトポロジを決定することであり、すなわち、コストパフォーマンスのトレードオフに最も対処するモデルを使用する最良の方法である。 まず、LLMの専門家の基本的なトポロジから始めます。それぞれが異なるコストと異なるレベルの専門知識を持ち、モデルの信頼性によってキャプチャされます。 対象性能制約に対する予測推論コストを最小限に抑えるため,これらのモデルの最適活性化の問題を定式化する。 この特別なクラスの推論ネットワークに対して、最適活性化ポリシーは、まず最低コストのLCMを問う、信頼度が定義しきい値以下になると、より高価なLMを起動する、しきい値構造を持つことを示す。 識別的タスクでは、最適なポリシは、クラス毎に1つのしきい値を持つ一連のしきい値から成り、生成的タスクでは1つのしきい値で構成される。 しきい値を計算するための構造化手法と,両タスクタイプに対する実用的な信頼度推定機構を提供する。 オープンソースのLLMによる実験では、特定のパフォーマンス予算を満たしながら、大幅なコスト削減が示されている。

関連論文リスト

• Generating Robust Portfolios of Optimization Models using Large Language Models [27.600634702684733]
  我々は最適化モデルの生成と評価を行う新しい方法を開発した。 ポートフォリオが人間の好みによく適合していることを示す理論的保証を提供する。 範囲最適化モデリングタスクにおける高い性能を示す。
  論文  参考訳（メタデータ） (2026-05-26T13:30:43Z)
• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• Trust by Design: Skill Profiles for Transparent, Cost-Aware LLM Routing [1.8570591025615457]
  BELLA(Budget-Efficient LLM Selection via Automated skill-profiling)は、タスクのための最適なLLM選択を推奨するフレームワークである。 標準ベンチマークでは、タスクに必要な特定の機能や、より安価なモデルで十分かどうかを明確化するためのメトリクスが報告されている。 BELLAは、(1)LCM出力を分解し、批判ベースのプロファイリングによって必要とされる粒度のスキルを抽出すること、(2)構造化された能力行列へのクラスタリング技術、(3)多目的最適化の3段階を通して、このギャップに対処する。
  論文  参考訳（メタデータ） (2026-02-02T17:49:30Z)
• Reasoning with Preference Constraints: A Benchmark for Language Models in Many-to-One Matching Markets [13.111181135818184]
  大規模言語モデル (LLM) は、最適化を含む複雑な数学的タスクにおいて強い性能を示している。 優先的かつ構造的な制約の下で推論を必要とする問題にLLMを適用することは、まだ未定である。 我々は,大学入学問題の369件の新たなベンチマークを用いて,実用性,安定性,最適性といった重要な次元にわたるLSMを評価する。
  論文  参考訳（メタデータ） (2025-09-16T14:48:46Z)
• Cluster Topology-Driven Placement of Experts Reduces Network Traffic in MoE Inference [49.141930185079325]
  提案する整数線形プログラム(ILP)は,期待される送信数を最小限に抑え,専門家の最適な配置を決定する。 ILPベースの配置戦略は,小型モデル(DeepSeekMoE16B)や大規模モデル(DeepSeek-R1671B)と比較してネットワークトラフィックが低いことを示す。
  論文  参考訳（メタデータ） (2025-08-12T07:08:48Z)
• LightRouter: Towards Efficient LLM Collaboration with Minimal Overhead [19.573553157421774]
  Lightは、より大きなプールからLLMの小さなサブセットを体系的に選択、統合するために設計された新しいフレームワークである。 実験によると、光は広く使われているアンサンブルのベースラインと一致し、25%の精度向上を実現している。 本研究は、効率的なLCM選択のための実践的なアプローチを導入し、モデル組み合わせのための最適な戦略に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-22T04:46:04Z)
• Universal Model Routing for Efficient LLM Inference [69.86195589350264]
  モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である 動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。 これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Doing More with Less: A Survey on Routing Strategies for Resource Optimisation in Large Language Model-Based Systems [1.430963201405577]
  LLM(Large Language Model)ベースのシステムは、通常、すべてのユーザクエリを処理するために単一の汎用LLMで設計される。 これらのシステムは、異なるクエリが異なるレベルの推論、ドメイン知識、または前処理を必要とするため、非効率である可能性がある。 したがって、より小さなまたは特殊なモデルなど、より適切なコンポーネントにクエリをルーティングするためにルーティングメカニズムを使用することができる。
  論文  参考訳（メタデータ） (2025-02-01T12:08:38Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。