論文の概要: To Defer or Not to Defer? Online Learning with LLMs and Congested Experts

• arxiv url: http://arxiv.org/abs/2610.15128v1
• Date: Sat, 10 Oct 2026 19:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.166538
• Title: To Defer or Not to Defer? Online Learning with LLMs and Congested Experts
• Title（参考訳）: 定義するべきでないか? LLMと混み合った専門家によるオンライン学習
• Abstract要約: 本稿では,LLMの回答の信頼信号を監視するオンラインシーケンシャルな意思決定問題を定式化し,その回答を出力するか,あるいはクエリをキャパシティに制約のある専門家に延期するかを判断しなければならない。 Kullback--Leibler を用いた学習アルゴリズム textttKL-PBD を提案する。
• 参考スコア（独自算出の注目度）: 50.692433826416504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern AI systems increasingly combine large language models (LLMs) with human experts, using the LLM to handle routine queries while deferring uncertain cases for expert review. When expert capacity is limited, however, deferral decisions must account not only for the reliability of the LLM but also for congestion in the expert queue. We formulate this as an online sequential decision-making problem in which, for each query, the system observes the confidence signal of the LLM's answer and must decide whether to output the answer or defer the query to a capacity-constrained expert. The reliability of the confidence signal is initially unknown and must be learned from expert feedback, which is both selectively observed (only deferred queries are labeled) and delayed by queuing. We propose \texttt{KL-PBD}, a learning algorithm that uses Kullback--Leibler lower confidence bounds on the unknown reliability parameters to guide deferral decisions. For $K$ confidence levels and horizon $T$, \texttt{KL-PBD} achieves $O(K\log T)$ gap-dependent regret when the accuracy at every confidence level is bounded away from the deferral boundary, and $\widetilde{O}(\sqrt{KT})$ worst-case regret. We establish matching lower bounds, showing that these rates are optimal up to logarithmic factors. Finally, we validate our approach on synthetic instances and real-world question-answering datasets, namely GSM8K, NuminaMath, and MedMCQA, using Qwen LLMs.
• Abstract（参考訳）: 現代のAIシステムは、大きな言語モデル(LLM)と人間の専門家を結合し、LLMを使用して日常的なクエリを処理し、専門家レビューのための不確実なケースを遅延する。 しかし、専門家の能力が限られている場合、遅延決定はLSMの信頼性だけでなく、専門家の待ち行列の混雑も考慮しなければならない。 我々はこれをオンラインの逐次決定問題として定式化し、各クエリに対してLLMの回答の信頼性信号を観測し、その回答を出力するか、あるいは容量制約のある専門家にクエリを延期するかを判断しなければならない。 信頼信号の信頼性は最初不明であり、専門家のフィードバックから学ぶ必要がある。 Kullback-Leibler を用いた学習アルゴリズムである \texttt{KL-PBD} を提案する。 K$信頼レベルと地平線$T$の場合、 \texttt{KL-PBD} は、すべての信頼レベルの精度がデリラル境界から外れている場合、$O(K\log T)$ギャップ依存の後悔、$\widetilde{O}(\sqrt{KT})$最悪の後悔を達成する。 一致した下界を確立し、これらの値は対数的因子に最適であることを示す。 最後に、Qwen LLMを用いて、GSM8K、NuminaMath、MedMCQAといった実世界の質問応答データセットと合成インスタンスに対するアプローチを検証する。

関連論文リスト

• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
  大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
  論文  参考訳（メタデータ） (2025-12-23T03:10:09Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward [4.921470220575384]
  大規模言語モデル(LLM)における幻覚の緩和は、信頼性の高いデプロイメントにおいて重要である。 我々は,$textbfunderlineFine-fine underline Semantic UnderlineConfidence underlineReward (Ours) に基づく新しい強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-28T03:00:35Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Reconfidencing LLMs from the Grouping Loss Perspective [56.801251926946485]
  大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。 近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。 そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
  論文  参考訳（メタデータ） (2024-02-07T15:40:22Z)
• Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness [16.35655151252159]
  本稿では,事前訓練された大規模言語モデルから悪い,投機的な回答を検出するBSDetectorを紹介する。 我々の不確実性定量化技術は,ブラックボックスAPIを通じてのみアクセス可能な LLM に対して有効である。
  論文  参考訳（メタデータ） (2023-08-30T17:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。