論文の概要: Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization

• arxiv url: http://arxiv.org/abs/2610.19198v1
• Date: Tue, 13 Oct 2026 21:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.810297
• Title: Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization
• Title（参考訳）: 埋め込み幾何学形状 LLMルーティング:トレース障害モードと一般化の改善
• Abstract要約: ルーティングの文献の大部分は、意味的にベクトル空間にプロンプトを埋め込むことに依存している。 プロンプト上でQwen2.5-7B-インストラクトの部分フォワードパスを実行し、その最後のトークンの隠蔽状態を表現として使用します。 我々の2つの簡単な方法は、ルーターベンチ上の最近のSoTA隠れ状態のルーターを破る。
• 参考スコア（独自算出の注目度）: 6.622844972691325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing number of LLMs available, selecting which one to use for a prompt has become a key question. A large part of the routing literature relies on semantically embedding prompts into a vector space and then applying a lightweight classifier to the embedded representations. These methods perform robustly in-distribution but they struggle to generalize to unseen tasks. By studying the geometry of semantic embeddings, we trace a clear failure mode: features that determine the neighbors of unseen prompts are an unreliable proxy for LLM selection. We therefore replace the semantic embedding with the following map: we run a partial forward pass of Qwen2.5-7B-Instruct on the prompt and use the hidden state of its last token at a deep layer as the representation. When applying kNN and other simple classifiers to this new representation, we obtain a clear result in generalization: on average across cost penalties, their performance improves. Moreover, kNN and another simple classifier that we propose outperform every evaluated semantic-embedding baseline. Our two simple methods also beat a recent SoTA hidden-states based router on RouterBench.
• Abstract（参考訳）: LLMの数が増えているため、プロンプトに使用するものを選択することが重要な問題となっている。 ルーティングの文献の大部分は、意味的埋め込みプロンプトをベクトル空間に埋め込み、埋め込み表現に軽量な分類器を適用することに依存している。 これらの手法は頑強に分配されるが、目に見えないタスクに一般化するのに苦労する。 セマンティック埋め込みの幾何学を研究することによって、明確な障害モードを辿る: 目に見えないプロンプトの隣人を決定する特徴は、LLM選択の信頼性の低いプロキシである。 プロンプト上でQwen2.5-7B-インストラクトの部分フォワードパスを実行し、その最後のトークンの隠蔽状態を表現として使用します。 この新たな表現にkNNや他の単純な分類器を適用すると、一般化の明確な結果が得られる。 さらに、kNN と、評価されたセマンティック埋め込みベースラインを全て上回る単純な分類器を提案する。 我々の2つの簡単な方法は、ルーターベンチ上の最近のSoTA隠れ状態のルーターを破る。

関連論文リスト

• Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
  Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。 小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。 LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
  論文  参考訳（メタデータ） (2026-06-24T03:42:44Z)
• Robust Nearest Neighbour Retrieval Using Targeted Manifold Manipulation [0.0]
  最近傍の検索は、分類と説明可能なAIパイプラインの中心である。 特徴多様体の指定された領域に各サンプルをどの程度容易に適用できるかを評価することによって,検索を再現するTMM-NNを提案する。 TMM-NNは軽量でクエリ固有のトリガパッチを通じてこれを実装している。
  論文  参考訳（メタデータ） (2025-11-09T07:37:05Z)
• Hierarchical Representation Matching for CLIP-based Class-Incremental Learning [80.2317078787969]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、進化するデータストリームに継続的に適応可能なモデルを提供することを目的とする。 事前訓練された視覚言語モデル(例えばCLIP)の最近の進歩は、このタスクの強力な基盤を提供する。 本稿では,CLIPベースのCILのためのHiErarchical Representation MAtchiNg(HERMAN)を紹介する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:51Z)
• SLAck: Semantic, Location, and Appearance Aware Open-Vocabulary Tracking [89.43370214059955]
  Open-vocabulary Multiple Object Tracking (MOT)は、トレーニングセットにはない新しいカテゴリにトラッカーを一般化することを目的としている。 我々は,連合の初期段階において,意味論,位置,出現の先行を共同で検討する統一的な枠組みを提案する。 提案手法は,異なるキューを融合するための複雑な後処理を排除し,大規模オープン語彙追跡のための関連性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:36:58Z)
• Less is more: Summarizing Patch Tokens for efficient Multi-Label Class-Incremental Learning [38.36863497458095]
  我々は, pAtch tokeN Embeddings (MULTI-LANE) を要約したクラス増分学習手法を提案する。 提案手法は, pAtch tokeN Embeddings (MULTI-LANE) を要約したマルチラベルクラスインクリメンタルラーニングであり, 高速な推論を実現するとともに, MLCILにおける非絡合タスク固有表現の学習を可能にする。
  論文  参考訳（メタデータ） (2024-05-24T15:18:27Z)
• Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation [62.275143240798236]
  ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。 VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。 提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-14T20:31:06Z)
• Side Adapter Network for Open-Vocabulary Semantic Segmentation [69.18441687386733]
  本稿では,Side Adapter Network (SAN) という,事前学習された視覚言語モデルを用いたオープン語彙セマンティックセマンティックセマンティックセマンティクスのための新しいフレームワークを提案する。 サイドネットワークは凍結したCLIPモデルにアタッチされ、ひとつはマスクの提案を予測し、もうひとつは注意バイアスを予測する。 トレーニング可能なパラメータは最大で18倍,推論速度は19倍に向上した。
  論文  参考訳（メタデータ） (2023-02-23T18:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。