論文の概要: RouteAlign: Aligning Task Requirements with Model Profiles for LLM Service Selection
- arxiv url: http://arxiv.org/abs/2611.08162v1
- Date: Thu, 05 Nov 2026 15:21:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.562043
- Title: RouteAlign: Aligning Task Requirements with Model Profiles for LLM Service Selection
- Title（参考訳）: RouteAlign: LLMサービス選択のためのモデルプロファイルによるタスク要求の調整
- Abstract要約: RouteAlignはタスク要件を使用して、モデルパフォーマンスの測定とサービスの選択の両方を構造化する。
共有スコアラはエビデンスを統合し、世代別プライオリティ制御を行う。
- 参考スコア（独自算出の注目度）: 65.01913207203273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM service selection requires performance evidence that reflects the demands of the current task. Aggregate scores obscure differences in capability and difficulty, while semantically related examples can involve different combinations of skills. We present RouteAlign, which uses task requirements to structure both the measurement of model performance and the selection of services. Task requirements describe capability demand and difficulty, enabling alignment with corresponding model performance measurements. Historical requirements determine how outcomes contribute to global profiles and local capability estimates; incoming requirements determine how those measurements inform the current decision. A shared scorer integrates the evidence, and a generation-cost preference controls selection among eligible services. Evaluation across diverse tasks and heterogeneous LLM services shows that RouteAlign extends the empirical quality-cost frontier toward higher task quality. Comparisons with open Jev-style decision backends show consistent quality gains, with lower generation cost than their strongest tested configuration. Ablations support the contribution of local performance evidence, while catalog-update experiments demonstrate effective reuse of the fitted scorer with refreshed model measurements.
- Abstract（参考訳）: LLMサービスの選択は、現在のタスクの要求を反映したパフォーマンスエビデンスを必要とする。
アグリゲートは能力と難易度が明らかに異なるが、セマンティックな例ではスキルの組み合わせが異なる可能性がある。
モデル性能の測定とサービスの選択の両方を,タスク要求を用いて構成する RouteAlign を提案する。
タスク要求は機能要求と難易度を記述し、対応するモデルパフォーマンス測定と整合性を実現する。
歴史的要件は、結果がグローバルなプロファイルや地域能力の推定にどのように貢献するかを決定する。
共有スコアラはエビデンスを統合し、世代別プライオリティ制御を行う。
多様なタスクと異種LLMサービスによる評価は、RouteAlignがより高いタスク品質に向けて経験的な品質コストフロンティアを拡張していることを示している。
オープンなJevスタイルの意思決定バックエンドと比較すると、一貫性のある品質向上が見られる。
近似は局所的な性能証拠の寄与を裏付ける一方、カタログ更新実験では、リフレッシュされたモデルによるスコアラーの有効再利用が示されている。
関連論文リスト
- RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models: Capability, Resource Affordability, and Research Evidence [28.790085541285404]
RoboSeedは視覚行動モデル(VLA)と世界行動モデル(WAM)のための多次元評価フレームワークである
能力、下流トレーニングの可利用性、配備の可利用性、ローカルに検証された研究価値、再生証拠の5つの側面を定義している。
本稿では,VLAモデルとWAMモデルの代表としてフレームワークを適用し,ローカルトレーニング,リリースウェイト評価,タスクレベル監査,評価システムの検討を行った。
論文 参考訳（メタデータ） (2026-10-29T13:34:54Z) - EHR-Bench: A Chinese Multi-Task Benchmark for Recruitment AI [31.22856190327909]
EHR-Benchは、6つの機能ファミリーと5つの採用シナリオにまたがる12のタスクからなるオープンな中国のベンチマークである。
公開資料から8,336のタスクインスタンスを構築し,ソース・アウェアの専門家によるレビューと文書化を行った。
緊密にランク付けされたモデルは、異なるタスク強度を示し、パフォーマンスは入力元、参照エビデンス、候補プールによって異なる。
論文 参考訳（メタデータ） (2026-10-12T12:27:33Z) - Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。
提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2026-05-10T17:30:16Z) - From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。
我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
論文 参考訳（メタデータ） (2026-04-28T03:16:24Z) - Task-Aware LLM Council with Adaptive Decision Pathways for Decision Support [6.468209380404613]
Task-Aware LLM Council (TALC) はモンテカルロ木探索 (MCTS) と大規模言語モデルのカウンシルを統合している。
TALCは、強いベースラインよりも優れたタスク成功率と検索効率の向上を実現している。
論文 参考訳（メタデータ） (2026-01-30T07:29:20Z) - BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。
RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
論文 参考訳（メタデータ） (2025-10-30T11:15:23Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。