論文の概要: Trust by Design: Skill Profiles for Transparent, Cost-Aware LLM Routing
- arxiv url: http://arxiv.org/abs/2602.02386v1
- Date: Mon, 02 Feb 2026 17:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.335551
- Title: Trust by Design: Skill Profiles for Transparent, Cost-Aware LLM Routing
- Title(参考訳): デザインによる信頼:透明でコストに配慮したLCMルーティングのスキルプロファイル
- Authors: Mika Okamoto, Ansel Kaplan Erol, Glenn Matlin,
- Abstract要約: BELLA(Budget-Efficient LLM Selection via Automated skill-profiling)は、タスクのための最適なLLM選択を推奨するフレームワークである。
標準ベンチマークでは、タスクに必要な特定の機能や、より安価なモデルで十分かどうかを明確化するためのメトリクスが報告されている。
BELLAは、(1)LCM出力を分解し、批判ベースのプロファイリングによって必要とされる粒度のスキルを抽出すること、(2)構造化された能力行列へのクラスタリング技術、(3)多目的最適化の3段階を通して、このギャップに対処する。
- 参考スコア(独自算出の注目度): 1.8570591025615457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How should Large Language Model (LLM) practitioners select the right model for a task without wasting money? We introduce BELLA (Budget-Efficient LLM Selection via Automated skill-profiling), a framework that recommends optimal LLM selection for tasks through interpretable skill-based model selection. Standard benchmarks report aggregate metrics that obscure which specific capabilities a task requires and whether a cheaper model could suffice. BELLA addresses this gap through three stages: (1) decomposing LLM outputs and extract the granular skills required by using critic-based profiling, (2) clustering skills into structured capability matrices, and (3) multi-objective optimization to select the right models to maximize performance while respecting budget constraints. BELLA provides natural-language rationale for recommendations, providing transparency that current black-box routing systems lack. We describe the framework architecture, situate it within the landscape of LLM routing and evaluation, and discuss its application to financial reasoning as a representative domain exhibiting diverse skill requirements and cost-variation across models. Our framework enables practitioners to make principled and cost-performance trade-offs for deploying LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)の実践者はどのようにしてお金を無駄にすることなくタスクに適したモデルを選択するべきか?
本稿では,BELLA(Budget-Efficient LLM Selection via Automated skill-profiling)を紹介する。
標準ベンチマークでは、タスクに必要な特定の機能や、より安価なモデルで十分かどうかを明確化するためのメトリクスが報告されている。
BELLA はこのギャップを,(1) 批判に基づくプロファイリングによるLCM出力の分解・抽出,(2) 構造化能力行列へのクラスタリング技術,(3) 予算制約を尊重しながら性能を最大化するために適切なモデルを選択するための多目的最適化の3段階を通じて解決する。
BELLAはレコメンデーションに自然言語による合理性を提供し、現在のブラックボックスルーティングシステムに欠けている透明性を提供する。
フレームワークアーキテクチャを記述し、LLMルーティングと評価のランドスケープ内に配置し、さまざまなスキル要件とモデル間のコスト変動を示す代表的ドメインとして、その財務的推論への応用について論じる。
当社のフレームワークは, LLMをデプロイする上で, 実践者が原則的かつ費用対効果のトレードオフを行うことを可能にする。
関連論文リスト
- LLMs for Resource Allocation: A Participatory Budgeting Approach to Inferring Preferences [17.089038477886486]
大規模言語モデル(LLM)は、複雑な意思決定タスクを扱うことがますます期待されているが、構造化されたリソース割り当てを実行する能力はいまだ探索されていない。
i) LLMに基づく資源配分の実践的設定と, (ii) それらの推論能力を評価するための適応ベンチマークとして, PB(Participatory Budgeting)を活用する2目的フレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-08T06:45:07Z) - How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve [2.33361323991006]
大きな言語モデル(LLM)は、リソース制約された設定において、狭いタスクのためにますますデプロイされる。
LLM-Sieveは,タスク性能の維持に必要な最小パラメータサブセットにLCMを適用可能なフレームワークである。
論文 参考訳(メタデータ) (2025-05-23T20:17:20Z) - Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。
提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文 参考訳(メタデータ) (2025-04-02T20:33:27Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳(メタデータ) (2025-02-15T02:55:22Z) - LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing [3.090041654375235]
本稿では, LLM選択過程を多武装バンディット問題として定式化する新しい枠組みを提案する。
提案手法は好み条件付き動的ルーティング機構を組み込んでおり、ユーザーは推論時に好みを指定できる。
提案手法は,LLMプラットフォーム間での精度とコスト効率の両立を実現している。
論文 参考訳(メタデータ) (2025-02-04T22:09:43Z) - A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。
本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文 参考訳(メタデータ) (2024-10-24T14:31:52Z) - MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs [20.793892860721712]
MetaLLMは,各クエリを最適大言語モデル(LLM)に動的かつインテリジェントにルーティングするフレームワークである。
多武装バンディットとして選択問題をフレーミングすることで、MetaLLMは不確実性の下で予測精度とコスト効率のバランスをとる。
OpenAI や Together AI などの一般的な LLM プラットフォーム上で実施した実験では,現実世界のシナリオにおいて MetaLLM の有効性を示す。
論文 参考訳(メタデータ) (2024-07-15T15:45:07Z) - Cache me if you Can: an Online Cost-aware Teacher-Student framework to
Reduce the Calls to Large Language Models [13.799197575126442]
中小企業(中小企業)は、大規模なタスク固有のトレーニングデータセットを作成する費用を支払うことができない。
大規模言語モデルをプロンプトできるサードパーティサービスは、現在、通話1回あたりの支払いを必要としている。
本稿では,従来の応答をキャッシュし,ローカルな安価なモデルをトレーニングすることで,LCMへの呼び出しを削減できるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T10:05:07Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。