論文の概要: Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems

• arxiv url: http://arxiv.org/abs/2512.20012v1
• Date: Tue, 23 Dec 2025 03:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.72893
• Title: Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems
• Title（参考訳）: 通信知識システムのための信頼性LLMベースのエッジクラウド拡張カスケード
• Authors: Qiushuo Hou, Sangwoo Park, Matteo Zecchin, Yunlong Cai, Guanding Yu, Osvaldo Simeone, Tommaso Melodia,
• Abstract要約: 大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
• 参考スコア（独自算出の注目度）: 54.916243942641444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are emerging as key enablers of automation in domains such as telecommunications, assisting with tasks including troubleshooting, standards interpretation, and network optimization. However, their deployment in practice must balance inference cost, latency, and reliability. In this work, we study an edge-cloud-expert cascaded LLM-based knowledge system that supports decision-making through a question-and-answer pipeline. In it, an efficient edge model handles routine queries, a more capable cloud model addresses complex cases, and human experts are involved only when necessary. We define a misalignment-cost constrained optimization problem, aiming to minimize average processing cost, while guaranteeing alignment of automated answers with expert judgments. We propose a statistically rigorous threshold selection method based on multiple hypothesis testing (MHT) for a query processing mechanism based on knowledge and confidence tests. The approach provides finite-sample guarantees on misalignment risk. Experiments on the TeleQnA dataset -- a telecom-specific benchmark -- demonstrate that the proposed method achieves superior cost-efficiency compared to conventional cascaded baselines, while ensuring reliability at prescribed confidence levels.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、通信、トラブルシューティング、標準解釈、ネットワーク最適化といったタスクの支援など、ドメインにおける自動化の重要な実現手段として登場している。 しかしながら、実際のデプロイメントでは、推論コスト、レイテンシ、信頼性のバランスをとる必要があります。 本研究では,問合せパイプラインによる意思決定を支援するエッジクラウド専門のLLMベースの知識システムについて検討する。 効率的なエッジモデルは、ルーチンクエリを処理し、より有能なクラウドモデルは複雑なケースに対処する。 我々は、専門家の判断と自動回答の整合性を確保しつつ、平均処理コストを最小化することを目的として、調整コストの制約付き最適化問題を定義する。 本稿では,知識と信頼度に基づくクエリ処理機構に対する多重仮説テスト(MHT)に基づく統計的に厳密なしきい値選択法を提案する。 このアプローチは、ミスアライメントリスクに対する有限サンプル保証を提供する。 テレコム固有のベンチマークであるTeleQnAデータセットの実験は、提案手法が従来手法よりも高いコスト効率を実現し、信頼性を所定の信頼度で確保することを示した。

関連論文リスト

• Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation [7.3923284353934875]
  本稿では,大規模言語モデル(LLM)出力の正しさと密接に一致したRAGシステムにおける信頼度推定手法を提案する。 提案手法は、生のフィードフォワードネットワーク(FFN)を自己回帰信号として活用することにより、事前の不確実性定量化手法を拡張した。 我々の結果は、アクティベーションに基づく信頼度モデリングが、信頼性の高いRAGデプロイメントへのスケーラブルでアーキテクチャを意識したパスを提供することを示した。
  論文  参考訳（メタデータ） (2025-10-15T16:55:56Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• Federated In-Context Learning: Iterative Refinement for Improved Answer Quality [62.72381208029899]
  In-context Learning (ICL) では、入力に提供される例を活用することで、パラメータを変更することなく、言語モデルで応答を生成することができる。 我々は,反復的協調プロセスを通じてICLを強化する汎用フレームワークであるFederated In-Context Learning (Fed-ICL)を提案する。 Fed-ICLは、クライアントと中央サーバ間のマルチラウンドインタラクションを活用することで、応答を徐々に洗練し、モデルパラメータを送信することなく、応答品質を向上させる。
  論文  参考訳（メタデータ） (2025-06-09T05:33:28Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。