論文の概要: ICL-Router: In-Context Learned Model Representations for LLM Routing

• arxiv url: http://arxiv.org/abs/2510.09719v1
• Date: Fri, 10 Oct 2025 06:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.585681
• Title: ICL-Router: In-Context Learned Model Representations for LLM Routing
• Title（参考訳）: ICL-Router:LLMルーティングのための文脈学習モデル表現
• Authors: Chenxu Wang, Hao Li, Yiqun Zhang, Linyao Chen, Jianhao Chen, Ping Jian, Peng Ye, Qiaosheng Zhang, Shuyue Hu,
• Abstract要約: 本稿では,モデル機能を表現するために,コンテキスト内ベクトルを用いた新しいルーティング手法を提案する。 本手法は,分散処理とアウト・オブ・ディストリビューション処理の両方において,最先端のルーティング性能を実現する。
• 参考スコア（独自算出の注目度）: 30.759446235510467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often exhibit complementary strengths. Model routing harnesses these strengths by dynamically directing each query to the most suitable model, given a candidate model pool. However, routing performance relies on accurate model representations, and adding new models typically requires retraining, limiting scalability. To address these challenges, we propose a novel routing method using in-context vectors to represent model capabilities. The method proceeds in two stages. First, queries are embedded and projected into vectors, with a projector and LLM-based router trained to reconstruct the original queries, aligning vector representations with the router's semantic space. Second, each candidate model is profiled on a query set, and the router learns -- based on in-context vectors of query and model performance -- to predict whether each model can correctly answer new queries. Extensive experiments demonstrate that our method achieves state-of-the-art routing performance in both in-distribution and out-of-distribution tasks. Moreover, our method allows for seamless integration of new models without retraining the router. The code is available at https://github.com/lalalamdbf/ICL-Router.
• Abstract（参考訳）: 大型言語モデル(LLM)はしばしば相補的な強みを示す。 モデルルーティングは、候補モデルプールが与えられた場合、各クエリを最も適切なモデルに動的に誘導することで、これらの強みを利用する。 しかし、ルーティング性能は正確なモデル表現に依存しており、新しいモデルを追加するには、通常、再トレーニングとスケーラビリティの制限が必要である。 これらの課題に対処するために,モデル機能を表現するためにコンテキスト内ベクトルを用いた新しいルーティング手法を提案する。 方法は2段階に進む。 まず、クエリをベクトルに埋め込んで投影し、プロジェクタとLLMベースのルータを使って元のクエリを再構築し、ベクトル表現をルータの意味空間と整合させる。 次に、各候補モデルはクエリセットでプロファイルされ、ルータはクエリとモデルパフォーマンスのコンテキスト内ベクトルに基づいて、新しいクエリに正しく答えられるかどうかを予測する。 集中的な実験により,本手法は分布内および分布外の両方のタスクにおいて,最先端のルーティング性能を実現することを示した。 さらに,提案手法は,ルータを再トレーニングすることなく,新しいモデルのシームレスな統合を可能にする。 コードはhttps://github.com/lalalamdbf/ICL-Routerで公開されている。

関連論文リスト

• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• Arch-Router: Aligning LLM Routing with Human Preferences [1.859931123372708]
  ルーティングは、異なるモデルの使用を運用する上で不可欠な技術になっている。 本稿では、クエリをユーザ定義ドメインにマッチさせることで、モデル選択をガイドする、嗜好整合型ルーティングフレームワークを提案する。 我々のアプローチは主観評価基準を捉え、ルーティング決定をより透明で柔軟にする。
  論文  参考訳（メタデータ） (2025-06-19T23:57:41Z)
• Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning [12.878608250420832]
  マルチLLMルーティングとアグリゲーションを逐次決定プロセスとして定式化する強化学習フレームワークである textbf Generalization-R1 を提案する。 学習を容易にするために,形式報酬と最終結果報酬と,性能とコストのバランスを最適化するための新たなコスト報酬からなる軽量なルールベース報酬を用いる。
  論文  参考訳（メタデータ） (2025-06-10T17:56:45Z)
• Query Routing for Retrieval-Augmented Language Models [38.05904245087491]
  Retrieval-Augmented Generation (RAG) は、知識集約タスクにおけるLarge Language Models (LLM) の性能を大幅に向上させる。 既存のルーティング手法はRAGシナリオで最適以下の性能を示すのに対し,外部文書はLLMのクエリ応答能力に動的に影響を及ぼす。 本稿では、文書埋め込みとRAG機能埋め込みを利用して知識表現シフトを捉えるパラメトリックなRAG対応ルーティング設計であるRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-29T03:44:56Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Capability Instruction Tuning: A New Paradigm for Dynamic LLM Routing [64.38277118982698]
  LLM(Large Language Models)は、人間のような命令追従能力を示す。 本研究では,各命令に対して最高の性能のLCMをルーティングして,全体的な性能を向上させる方法について検討する。 提案手法は,モデル能力表現,ユーザ命令,性能調査プロンプトを用いて,性能評価を行う機能命令を新たに構築する。
  論文  参考訳（メタデータ） (2025-02-24T16:10:53Z)
• Universal Model Routing for Efficient LLM Inference [69.86195589350264]
  モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である 動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。 これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• RouterDC: Query-Based Router by Dual Contrastive Learning for Assembling Large Language Models [24.113223576205932]
  この結果から,Dual Contrastive Learning (DC) による問合せベースのルータが大規模言語モデル (LLM) の組み立てに有効であることを示す。 DC は LLM を組み立てるのに有効であり、個々のトップパフォーマンスの LLM と、分布内および分布外の両方のタスクにおける既存のルーティング方法に大きく勝る。
  論文  参考訳（メタデータ） (2024-09-30T02:31:40Z)
• RouterRetriever: Routing over a Mixture of Expert Embedding Models [58.987116118425995]
  本稿では、ルーティング機構を用いて、ドメイン固有の専門家の混在を利用した検索モデルであるReuterRetrieverを紹介する。 RouterRetrieverは、ドメイン固有の専門的な埋め込みモデルを混在させたルーティングの利点を示す最初の研究である。
  論文  参考訳（メタデータ） (2024-09-04T13:16:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。