論文の概要: ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries
- arxiv url: http://arxiv.org/abs/2606.31163v2
- Date: Wed, 01 Jul 2026 08:21:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 15:15:53.079901
- Title: ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries
- Title（参考訳）: コンプライアンスゲイト:規制産業における推論のための分類器付き多層LCMルーティング
- Abstract要約: ユーザクエリのPIIは、システムがそのデータが管轄区域を離れるべきかどうかを決定する前に、モデルエンドポイントに到達することができる。
本稿では,設計によるコンプライアンスを強制する分類器ゲート型ルーティングアーキテクチャを提案する。
単純なクエリは、ほんの少しのコストで、小さくて高速なモデルに到達します。
- 参考スコア（独自算出の注目度）: 0.609170287691728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models deployed in regulated industries operate under two constraints: compliance enforcement and cost efficiency. Personally identifiable information (PII) in user queries can reach model endpoints before the system determines whether that data should leave its jurisdictional boundary. Serving all queries through a single large model consumes full GPU capacity regardless of query complexity while offering no mechanism for geographic routing. Mixture-of-Experts architectures do not address this routing occurs between expert layers within the model after data has already arrived at the endpoint, with all experts loaded in memory regardless of query complexity. We propose a classifier-gated routing architecture that enforces compliance by design. A trained encoder classifier sits before any decoder inference, evaluating each query for complexity and data sensitivity, then routing it to an appropriately sized dense model in the appropriate geographic location. PII-containing queries route to local endpoints before any LLM computation begins, making data residency violations structurally impossible. Simple queries reach small, fast models at a fraction of the cost. Our evaluation on 600 queries demonstrates 39% median latency reduction, 33-52% cost savings depending on query distribution, and generation throughput of 122-200 tokens/second versus 50-64 for the baseline. The encoder classifier achieves 99.2% accuracy with near-perfect PII recall at 7ms inference overhead, establishing pre-inference classification as a practical path to compliance-by-design LLM deployment.
- Abstract（参考訳）: 規制産業に配備された大規模な言語モデルは、コンプライアンスの実施とコスト効率の2つの制約の下で運用されている。
ユーザクエリの個人識別可能な情報(PII)は、システムがそのデータが管轄区域を離れるべきかどうかを決定する前に、モデルエンドポイントに到達することができる。
単一の大きなモデルですべてのクエリを実行すると、クエリの複雑さに関わらず、完全なGPUキャパシティを消費すると同時に、地理的ルーティングのメカニズムも提供されない。
Mixture-of-Expertsアーキテクチャは、クエリの複雑さに関わらず、すべての専門家がメモリにロードされ、データがエンドポイントに到着した後、モデル内のエキスパート層間で、このルーティングに対処しない。
本稿では,設計によるコンプライアンスを強制する分類器ゲート型ルーティングアーキテクチャを提案する。
訓練されたエンコーダ分類器はデコーダ推論の前に置かれ、各クエリの複雑さとデータの感度を評価し、適切な地理的位置にある適切な大きさの高密度モデルにルーティングする。
PIIを含むクエリは、LLM計算が始まる前にローカルエンドポイントにルートするので、データ常駐違反は構造的に不可能である。
単純なクエリは、ほんの少しのコストで、小さくて高速なモデルに到達します。
600のクエリに対する評価では,中央値レイテンシの39%,クエリ分布による33～52%のコスト削減,ベースラインに対する122～200トークン/秒の生成スループットが50～64に対して向上した。
エンコーダ分類器は、7msの推論オーバーヘッドでほぼ完璧なPIIリコールで99.2%の精度を達成し、コンプライアンス・バイ・デザイナのLCMデプロイメントへの実践的なパスとして事前推論分類を確立する。
関連論文リスト
- Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems [7.440012812118169]
RAGシステムは通常、固定数の文書を基底生成に検索する。
単純なクエリは過剰検索(ノイズとコストを追加する)に悩まされ、複雑なクエリは未検索である。
本稿では,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-11T19:57:12Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - Learning Agent Routing From Early Experience [55.88886987958933]
バウンダリ(Boundary)は、初期の行動経験とルーリック誘導推論を使用して、クエリに直接推論で答えるか、エージェントにエスカレートするかを決定する、トレーニング不要なルーティングフレームワークである。
また, 直接LLM推定よりも28.6%性能が向上し, 予測時間を60.6%短縮することを示した。
論文 参考訳（メタデータ） (2026-05-08T03:18:40Z) - Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks [1.5229257192293202]
空間認識型研究エージェントのための計算基底推論(CGR)を導入する。
CGRは空間認識型研究エージェントの設計パラダイムであり、全ての答え可能なサブプロブレムは決定論的計算によって解決される。
我々は,CGRが解釈可能性を維持しながら競争精度を向上することを示した。
論文 参考訳（メタデータ） (2026-04-13T22:22:07Z) - Self-Describing Structured Data with Dual-Layer Guidance: A Lightweight Alternative to RAG for Precision Retrieval in Large-Scale LLM Knowledge Navigation [0.0]
大きな言語モデル(LLM)は、長い入力コンテキストを処理する際に、よく文書化された位置バイアスを示す。
これにより、コンテキストに直接大きな構造化知識ベースを組み込む知識検索アプリケーションが制限される。
本稿では,構造化されたデータファイルがファイルのプライマリ位置にある人為的なナビゲーションメタデータを埋め込む軽量なフレームワークである自己記述型構造化検索(SDSR)を提案する。
論文 参考訳（メタデータ） (2026-03-28T14:12:43Z) - Agentic Multi-Source Grounding for Enhanced Query Intent Understanding: A DoorDash Case Study [0.8924669503280332]
本稿では,両方の障害モードに対処するエージェント・マルチソース・グラウンドドシステムを提案する。
モデルは単一のラベルを予測するのではなく、順序付けられたマルチインテントセットを出力する。
システムはプロダクションにデプロイされ、毎日の検索インプレッションの95%以上を処理している。
論文 参考訳（メタデータ） (2026-03-02T05:51:05Z) - From HNSW to Information-Theoretic Binarization: Rethinking the Architecture of Scalable Vector Search [0.7804710977378487]
本稿では,支配的な"HNSW + float32 + cosine similarity"スタックのアーキテクチャ的制約を分析する。
最大情報二項化(MIB)に基づく代替情報理論アーキテクチャの導入と実証評価を行った。
その結果,完全精度のシステムに匹敵する検索品質を示すとともに,レイテンシを大幅に低減し,高い要求レートで一定のスループットを維持することができた。
論文 参考訳（メタデータ） (2025-12-16T23:24:37Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳（メタデータ） (2025-09-30T22:19:44Z) - Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search [54.987957691350665]
クエリ駆動テキスト要約(QDTS)は、与えられたクエリに基づいてテキスト文書から簡潔で情報的な要約を生成することを目的としている。
従来の抽出的要約モデルは、主にランク付け候補の要約セグメントに基づいており、産業応用において支配的なアプローチとなっている。
産業Web検索におけるリアルタイムQDTSに対処するための生成モデルの適用を開拓するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-28T08:51:51Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z) - SQLNet: Scale-Modulated Query and Localization Network for Few-Shot Class-Agnostic Counting [67.97870844244187]
CAC(class-agnostic counting)タスクは、最近、任意のクラスの全てのオブジェクトを、入力画像にいくつかの例を付与してカウントする問題を解くために提案されている。
我々は、スケール変調クエリーおよびローカライズネットワーク(Net)と呼ばれる、新しいローカライズベースのCACアプローチを提案する。
クエリとローカライゼーションの段階において、模範者のスケールを完全に探求し、各オブジェクトを正確に位置付けし、その近似サイズを予測することで、効果的なカウントを実現している。
論文 参考訳（メタデータ） (2023-11-16T16:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。