論文の概要: Register Bias in Complexity-Based Large Language Model Routing
- arxiv url: http://arxiv.org/abs/2609.17542v1
- Date: Tue, 14 Jul 2026 19:55:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.548844
- Title: Register Bias in Complexity-Based Large Language Model Routing
- Title(参考訳): 複雑度に基づく大規模言語モデルルーティングにおけるレジスタバイアス
- Abstract要約: 非標準の英語レジスター、アフリカ・アメリカン・イングリッシュまたは第二言語ライターの英語で書かれたテキストは、同じクエリの等価な標準英語バージョンよりも低容量層を体系的に割り当てていることを示す。
次に、デバイス、エッジ、クラウドモデルのはしごにおける品質結果を測定し、害が広範にわたるモデルのバイアスによって引き起こされていることを見つけます。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model services increasingly route each query to one of several models of differing capability, using a cheap estimate of query complexity to send easy queries to small models and hard queries to large ones. I show that this routing step is not register neutral: text written in a non-standard English register, African American English or the English of second-language writers, is systematically assigned a lower-capacity tier than a meaning-equivalent standard-English version of the same query. The effect is driven by a specific, common routing signal, input length, because non-standard registers omit function words and thus look shorter and therefore simpler; other complexity signals do not carry it. I demonstrate the disparity on 37,704 authentic learner sentence pairs and on a controlled parallel corpus. I then measure the quality consequence on a device, edge, and cloud model ladder and find that the harm is driven by pervasive model bias, every tier, including a frontier cloud model, answers non-standard-register queries significantly less accurately, while the marginal quality cost of the routing decision itself is not significant on this benchmark. Complexity-based routing thus compounds the exposure of the users that the models already serve worst.
- Abstract(参考訳): 大規模な言語モデルサービスは、クエリをいくつかの異なる機能モデルにルーティングし、より安価なクエリの見積を使って、小さなモデルに簡単にクエリを送信し、大きなモデルにハードクエリを送信します。
非標準英語レジスタ、アフリカ系アメリカ人英語、または第二言語ライターの英語で書かれたテキストは、同じクエリの等価な標準英語バージョンよりも低容量層を体系的に割り当てられている。
この効果は特定の共通のルーティング信号、入力長によって駆動されるが、これは非標準が省略関数のワードをレジスタし、その結果、より短く、よりシンプルに見えるためである。
私は37,704人の真正学習者文対と制御された並列コーパスに相違を示す。
次に、デバイス、エッジ、クラウドモデルのはしごにおける品質結果を測定し、害が広範にモデルバイアスによって引き起こされていることを発見し、フロンティアのクラウドモデルを含むすべての階層が、ルーティング決定自体の限界品質コストがこのベンチマークで重要でないのに対して、非標準登録クエリをかなり正確に回答する。
したがって、複雑度に基づくルーティングは、モデルがすでに最悪である、というユーザの露出を複雑にする。
関連論文リスト
- Signed Rescue Routing: Harm-Aware Cascades for Efficient LLM Inference [18.473413242504503]
大規模な言語モデルカスケードは、小さなモデルで簡単なリクエストに答え、選択したリクエストをより大きなモデルにエスカレートする。
このプロキシは決定的な事実を無視している: エスカレーションは、大きなモデルが小さなモデルを修正した場合にのみ有用であり、大きなモデルが正しい答えを間違ったモデルに置き換えた時に有害である。
本稿では,これら2つのイベントを個別に予測し,その差分で要求をランク付けするSRR(Signed Rescue Routing)を提案する。
論文 参考訳(メタデータ) (2026-09-07T17:31:58Z) - Agentic Routing: The Harness-Native Data Flywheel [35.444792826526]
DRACOやPinchBenchなどのエージェントベンチマークにおけるシングルトンおよびマルチモデルルーティングに関する研究
エージェントルーティングは単なるコストコントロールではなく、エージェントネイティブなトレーニングのためのデータエンジンである、と氏は主張する。
論文 参考訳(メタデータ) (2026-07-13T11:05:55Z) - Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving [69.5155152169752]
大規模言語モデル(LLM)のための2段階カスケードソリューションを提案する。
ステージ1は、受信するクエリをクラスタ化し、各クラスタを最もコスト効率の良いモデルに割り当てる。
ステージ2は品質推定(QE)カスケードを追加し、ステージ1からの出力が低品質であると判断されると、クエリはより強力なモデルにエスカレーションされる。
テストデータセットでは、カスケードシステムは最強モデルの精度の97-99%を保持し、TPOT(Time Per Output Token)を削減している。
タスクの正確性ラベルのみを必要とし、手動で再構成することなくモデルプールの変更に適応する。
論文 参考訳(メタデータ) (2026-06-25T18:29:24Z) - Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。
modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
論文 参考訳(メタデータ) (2026-03-05T03:16:16Z) - Lookahead Routing for Large Language Models [24.082620717301477]
Lookaheadは、潜在的なモデル出力を"予測"し、これらの予測を使ってモデル選択をガイドするルーティングフレームワークである。
7つの公開ベンチマークに対する実証的な評価は、Lookaheadが既存のルーティングベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2025-10-22T12:00:21Z) - SynapseRoute: An Auto-Route Switching Framework on Dual-State Large Language Model [12.929385845055137]
その結果,医療質問の約58%は,非思考モードだけで正確に回答できることがわかった。
機械学習に基づく動的ルーティングフレームワークであるSynapseRouteを提案する。
論文 参考訳(メタデータ) (2025-07-03T17:33:58Z) - Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳(メタデータ) (2024-10-08T15:22:36Z) - Pre-training Cross-lingual Open Domain Question Answering with Large-scale Synthetic Supervision [44.04243892727856]
言語間のオープンドメイン質問応答は複雑な問題である。
CLQAは単一エンコーダデコーダモデルを用いて処理可能であることを示す。
ウィキペディア内の言語間リンク構造を利用した自己教師型手法を提案する。
論文 参考訳(メタデータ) (2024-02-26T11:42:29Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。