論文の概要: Routing Without Embeddings: Fast And Interpretable Routing With Regular Expressions

• arxiv url: http://arxiv.org/abs/2609.34326v1
• Date: Mon, 28 Sep 2026 05:04:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:47:29.36117
• Title: Routing Without Embeddings: Fast And Interpretable Routing With Regular Expressions
• Title（参考訳）: 埋め込みのないルーティング: 正規表現による高速かつ解釈可能なルーティング
• Abstract要約: 大規模言語モデル(LLM)ルータは通常、ニューラルネットワークの埋め込みに依存している。 Qwen2.5エンコーダを0.5Bから72Bパラメータにスケーリングすることは、ルーティング精度をほとんど改善しない。 ニューラルエンコーダを使わずにテキストから直接抽出できる性質と特性について検討する。
• 参考スコア（独自算出の注目度）: 17.574651399946436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) routers commonly rely on neural query embeddings, with larger encoders expected to better capture query intent and difficulty. Yet scaling Qwen2.5 encoders from 0.5B to 72B parameters brings little improvement in routing accuracy (Figure 1b), suggesting that small encoders may already capture the query properties needed for routing. We therefore investigate which properties matter and whether they can be extracted directly from text without a neural encoder. We introduce REGEXROUTE, a pipeline that uses sparse autoencoders (SAEs) to discover interpretable regular-expression (regex) features. Using unlabeled text, an LLM turns descriptions of grouped SAE latents into regex extractors and refines them to match latent activation patterns. These extractors supply numerical features to a lightweight routing head, eliminating neural encoding at inference (Figure 1a). Across four benchmarks, one fixed set of 128 features achieves 76.43% average routing accuracy, comparable to 76.41% for the strongest neural text encoder baseline, with much smaller latency and strong robustness. These findings establish explicit, interpretable text features as a practical basis for designing and understanding LLM routers.
• Abstract（参考訳）: 大規模言語モデル(LLM)ルータは一般的に、クエリの意図と難易度をよりよく捉えることを期待して、ニューラルネットワークの埋め込みに依存している。 しかし、Qwen2.5エンコーダを0.5Bから72Bパラメータにスケーリングすると、ルーティングの正確性はほとんど改善されない(図1b)。 そこで我々は,ニューラルエンコーダを使わずに,どの特性が重要か,テキストから直接抽出できるかを検討する。 本稿では、スパースオートエンコーダ(SAE)を用いて解釈可能な正規表現(regex)機能を検出するパイプラインであるREGEXROUTEを紹介する。 ラベルなしのテキストを用いて、LDMはグループ化されたSAEラテントの記述をregex抽出器に変換し、ラテント活性化パターンにマッチするように洗練する。 これらの抽出器は軽量なルーティングヘッドに数値的特徴を供給し、推論時のニューラルエンコーディングを除去する(図1a)。 4つのベンチマークで、128の固定セットが76.43%の平均ルーティング精度を達成し、最強のニューラルテキストエンコーダベースラインでは76.41%に匹敵する。 これらの結果から,LLMルータの設計と理解のための実践的基盤として,明示的で解釈可能なテキストの特徴が確立された。

関連論文リスト

• Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
  Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。 小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。 LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
  論文  参考訳（メタデータ） (2026-06-24T03:42:44Z)
• Lightweight Vulnerability Detection from Code Metrics and Token Features [0.0]
  このプリプリントは、生の関数テキストからのスパーストークンn-gramと安価なコードメトリクスの小さなセットを組み合わせた軽量な関数レベルの脆弱性トリアージパイプラインについて研究する。 以上の結果から, 単純トークンとメートル法の特徴は, 透過的ベースラインとして有用であるが, 表面の語彙的手がかりに敏感であり, クロスプロジェクト移動が限定的であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-05T19:51:46Z)
• LLM Encoder vs. Decoder: Robust Detection of Chinese AI-Generated Text with LoRA [4.104443734934105]
  我々は、エンコーダベースのトランスフォーマー(中国のBERTラージとRoBERTa-wwm-ext-large)、デコーダのみのLCM(アリババのQwen2.5-7B/Deep-R1-Distill-Qwen-7B)、およびFastTextベースラインを比較した。 実験により、エンコーダモデルはトレーニングデータをほとんど記憶しているが、分散シフト時に顕著な性能劣化を被っていることが明らかになった。
  論文  参考訳（メタデータ） (2025-08-31T07:51:22Z)
• Guarded Query Routing for Large Language Models [2.2349474636722317]
  ガードドクエリルーティング問題について検討し、最初にガードドクエリルーティングベンチマーク(GQR-Bench)を導入する。 その結果,ドメイン外検出能力が向上したWideMLPでは,精度(88%)と速度(4ms)のトレードオフが最良であることがわかった。 本研究は,LLMを(保護された)クエリルーティングに自動的に依存させることに挑戦し,実用的なアプリケーションに具体的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2025-05-20T15:46:59Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Neural Vocoder is All You Need for Speech Super-resolution [56.84715616516612]
  音声スーパーレゾリューション(SR)は、高周波成分を生成して音声サンプリング率を高めるタスクである。 既存の音声SR法は、固定的なアップサンプリング比のような制約のある実験環境で訓練される。 本稿では,ニューラルボコーダを用いた音声超解法(NVSR)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。