論文の概要: Privacy-Preserving LLMs Routing
- arxiv url: http://arxiv.org/abs/2604.15728v1
- Date: Fri, 17 Apr 2026 06:02:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.760216
- Title: Privacy-Preserving LLMs Routing
- Title(参考訳): プライバシ保護型LLMルーティング
- Authors: Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao,
- Abstract要約: プライバシー保護型大規模言語モデルルーティングフレームワーク(PPRoute)を提案する。
PPRouteには、Secure Multi-Party Computation (MPC)プロトコルの下で、エンコーダ推論と近隣の検索を高速化する戦略が含まれている。
通常のMPC実装よりも約20$Timesのスピードアップを実現している。
- 参考スコア(独自算出の注目度): 31.55544224550439
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Large language model (LLM) routing has emerged as a critical strategy to balance model performance and cost-efficiency by dynamically selecting services from various model providers. However, LLM routing adds an intermediate layer between users and LLMs, creating new privacy risks to user data. These privacy risks have not been systematically studied. Although cryptographic techniques such as Secure Multi-Party Computation (MPC) enable privacy-preserving computation, their protocol design and implementation remain under-explored, and naïve implementations typically incur prohibitive computational overhead. To address this, we propose a privacy-preserving LLM routing framework (PPRoute). PPRoute includes multiple strategies to speed up encoder inference and nearest neighbor search under the MPC and maintain the quality of LLM routing. First, PPRoute uses MPC-friendly operations to boost the encoder inference. Second, PPRoute uses a multiple-step model training algorithm to maintain routing quality despite the constraints of the encrypted domain. Third, PPRoute proposes an unsorted Top-k algorithm with $O(1)$ communication complexity for secure sorting in model search, significantly reducing communication latency. Across different datasets, PPRoute achieves the performance of plaintext counterparts, while achieving approximately a 20$\times$ speedup over naïve MPC implementations.
- Abstract(参考訳): 大規模言語モデル(LLM)ルーティングは、様々なモデルプロバイダから動的にサービスを選択することで、モデルパフォーマンスとコスト効率のバランスをとるための重要な戦略として登場した。
しかし、LSMルーティングはユーザーとLMの間の中間層を追加し、ユーザーデータに新たなプライバシーリスクを生じさせる。
これらのプライバシーリスクは体系的に研究されていない。
Secure Multi-Party Computation (MPC) のような暗号技術はプライバシ保護の計算を可能にするが、プロトコルの設計と実装は未探索のままであり、一般的にはNASVEの実装は禁止的な計算オーバーヘッドを伴っている。
そこで本研究では,プライバシ保護型LPMルーティングフレームワーク(PPRoute)を提案する。
PPRouteには、エンコーダ推論を高速化し、MPCの下で近接探索を高速化し、LLMルーティングの品質を維持するための複数の戦略が含まれている。
まず、PPRouteはエンコーダ推論を強化するためにMPCフレンドリーな操作を使用する。
第二に、PPRouteは多重ステップモデルトレーニングアルゴリズムを使用して、暗号化されたドメインの制約にもかかわらず、ルーティング品質を維持する。
第3に、PPRouteは、モデル探索におけるセキュアなソートのために$O(1)$の通信複雑性を持つ非ソートトップkアルゴリズムを提案し、通信遅延を大幅に低減した。
異なるデータセット全体にわたって、PPRouteは、平文対応のパフォーマンスを達成しつつ、生のMPC実装よりも約20$\times$のスピードアップを実現している。
関連論文リスト
- SecureRouter: Encrypted Routing for Efficient Secure Inference [18.40709699874288]
本稿では、エンドツーエンドの暗号化ルーティングおよび推論フレームワークであるSecure Inferenceを紹介する。
Secureは遅延を1.95倍に減らし、精度の低下を無視できる。
論文 参考訳(メタデータ) (2026-04-16T20:18:12Z) - The Workload-Router-Pool Architecture for LLM Inference Optimization: A Vision Paper from the vLLM Semantic Router Project [30.96691028676722]
vLLM Semantic Routerプロジェクトは、信号駆動ルーティング、コンテキスト長プールルーティング、ルータパフォーマンスエンジニアリング、ポリシー競合検出、低レイテンシ組み込みモデル、カテゴリ認識セマンティックキャッシング、ユーザフィードバック駆動ルーティング適応、幻覚検出、プライバシーとジェイルブレイク保護のための階層的コンテンツ安全分類を対象とする一連の作業をリリースした。
本稿では,LLM推論最適化のための3次元フレームワークであるWorkload-Pool-Poolアーキテクチャについて述べる。
論文 参考訳(メタデータ) (2026-03-22T18:30:11Z) - Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。
AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。
5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-03-13T12:26:05Z) - HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning [11.03159148013318]
大規模言語モデル(LLM)は多くのタスクにまたがって最先端のパフォーマンスを提供するが、高い計算とメモリコストを課す。
特殊な軽量言語モデルのプールから推論パイプラインを動的に組み立てる階層的ルーティング手法であるHierを提案する。
論文 参考訳(メタデータ) (2025-11-13T02:12:14Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳(メタデータ) (2025-10-14T17:51:26Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳(メタデータ) (2025-08-06T21:59:34Z) - Parametrized Multi-Agent Routing via Deep Attention Models [1.0377683220196872]
パラメタライズドシーケンシャル意思決定のためのスケーラブルなディープラーニングフレームワーク(ParaSDM)を提案する。
この設定の重要なサブクラスは、複数のエージェントシステムが最適なルートと位置を同時に決定する必要がある施設と場所(FLPO)である。
これを解決するために、最大エントロピー原理(MEP)と、最短経路ネットワーク(SPN)と呼ばれるニューラルポリシーモデルを統合する。
論文 参考訳(メタデータ) (2025-07-30T02:46:45Z) - How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。
DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
論文 参考訳(メタデータ) (2025-03-20T19:52:30Z) - MasRouter: Learning to Route LLMs for Multi-Agent Systems [14.029698552632107]
LLM(Large Language Models)をベースとしたマルチエージェントシステムは,LLM機能の境界を推し進めることが実証されている。
現在のルーティング手法は、クエリ毎にLLM選択をカスタマイズすることで、単一エージェントシナリオのオーバーヘッドを効果的に削減する。
まず、MASのすべてのコンポーネントを統一的なルーティングフレームワークに統合するマルチエージェントルーティングシステム(MASR)の問題を紹介する。
Mas is a high-perform, achieve a $1.8%sim8.2%$ improve over the state-of-the-art method on MBPP; 2) Economical, reduce overhead to up 52.07%$ than S.
論文 参考訳(メタデータ) (2025-02-16T14:00:59Z) - Universal Model Routing for Efficient LLM Inference [69.86195589350264]
モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である
動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。
これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
論文 参考訳(メタデータ) (2025-02-12T20:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。