論文の概要: Cost-Aware Abstention for LLM-Based IT Ticket Classification

• arxiv url: http://arxiv.org/abs/2610.31657v1
• Date: Thu, 22 Oct 2026 17:58:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.513761
• Title: Cost-Aware Abstention for LLM-Based IT Ticket Classification
• Title（参考訳）: LLMに基づくITチケット分類におけるコスト意識の欠如
• Abstract要約: ITサポートチケットの自動ルーティングは、人間のトリアージよりもコストがかかる可能性がある。 我々は,コスト意識の禁忌をオフライン・コスト条件の即応性評価として評価する。 凍結キャリブレーション選択されたポリシーは、保持されたテストデータに対して常にルートと常に遅延の両方を上回ります。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wrong automatic routing of an IT support ticket can cost more than human triage. We evaluate cost-aware abstention as an offline, cost-conditional readiness assessment: select a routing policy on calibration data under explicit costs, then evaluate that frozen policy once on held-out test data. On a public 47,837-ticket, eight-class corpus, we compare four trained non-LLM classifiers with four large language models under zero- and few-shot prompting. Under the illustrative cost model (c_ok, c_triage, c_wrong) = (0, 1, 5), TF-IDF with logistic regression and a threshold of 0.60 selected on calibration reduces test cost from 0.763 to 0.472, a 38.1% relative reduction (paired ratio-bootstrap 95% CI [35.7%, 40.4%]), while lowering wrong routes from 15.3% to 3.5%. Frozen calibration-selected policies also beat both always-route and always-defer on held-out test data in 14 of 16 settings in a post-hoc cost-parameter analysis. The strongest prompted configuration reaches 0.477 accuracy on a stratified 1,000-ticket test subset, versus 0.879 for fine-tuned DistilBERT on the same tickets. Isotonic lowers expected calibration error without reliably improving discrimination: GPT-4o-mini few-shot has one confidence value before and after recalibration and correctness AUROC 0.500. We therefore report correctness AUROC and tie-aware risk-coverage area alongside ECE. At the analytically derived break-even probability 0.80, seven prompted configurations defer all tickets; Haiku few-shot routes only 19/1,000. An LLM-only agreement control and margin/entropy rejection baselines further separate calibration from discrimination. The findings are scoped to this dataset, prompt design, model endpoints, and illustrative costs; the work is an evaluation framework, not a new abstention algorithm or universal deployment certification.
• Abstract（参考訳）: ITサポートチケットの自動ルーティングは、人間のトリアージよりもコストがかかる可能性がある。 我々は,コスト意識の排除をオフラインかつコスト条件の即時性評価として評価する:明示的なコストでキャリブレーションデータのルーティングポリシを選択し,そのフリーズポリシをテストデータ上で一度評価する。 47,837-tket, 8-class corpusでは、訓練された4つの非LLM分類器と4つの大きな言語モデルを比較した。 図示的コストモデル(c_ok, c_triage, c_wrong) = (0, 1, 5)では、ロジスティック回帰とキャリブレーションで選択された0.60の閾値でテストコストが0.763から0.472に減少し、38.1%の相対的な削減(ペアレート比の95% CI [35.7%, 40.4%)を達成し、間違ったルートを15.3%から3.5%に下げる。 寒冷なキャリブレーション選択されたポリシーは、時間外コストパラメータ分析で16項目中14項目のホールトアウトテストデータにおいて、常にルートと常に遅延の両方を上回ります。 最強の推力構成は成層式1000ケットテストサブセットで0.477に達し、同じチケットで微調整されたDistilBERTでは0.879に達した。 GPT-4o-mini few-shotは再校正前後に1つの信頼値を持ち、AUROC 0.500である。 そこで我々は,CEとともにAUROCとタイアウェアのリスクカバーエリアを報告した。 解析的に導出されたブレークフェア確率0.80では、すべてのチケットを遅延させる7つの設定がなされた。 LLMのみの合意制御とマージン/エントロピー拒否ベースラインは、さらに差別からキャリブレーションを分離する。 調査結果は、このデータセット、プロンプト設計、モデルエンドポイント、図示的コストに対象を絞っている。

関連論文リスト

• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Reliability-Aware Checkpoint Selection for Domain Generalization [40.17114894052837]
  精度制約付き信頼性選択(AC)について検討する。 ACは、最適なソースバリデーション精度の許容範囲内にチェックポイントを保持し、ソース信頼性でランク付けする。 ACは目標データを使用しず、追加のトレーニングも重量平均化も必要としない。
  論文  参考訳（メタデータ） (2026-09-30T15:17:32Z)
• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• A Leakage-Safe, Cost-Aware Regression Testing Methodology for the Quantum Transpiler [0.0]
  継続的インテグレーション(CI)は、固定予算の下で、大規模でコストの不均一なスイートからテストを選択および優先順位付けする必要があります。 本稿では,Qiskit量子トランスパイラに対するリークセーフでコストを考慮した回帰-テスト-選択手法を提案する。
  論文  参考訳（メタデータ） (2026-09-24T01:32:28Z)
• Cost-Aware Post-Hoc Deferral Under Calibration and Shift: An Environmental AI Case Study [2.9152186617858304]
  本研究では,6グループ誤りリスク推定器,クラス非対称コスト,レビュア精度,オプションサポートゲートを用いて,自動動作とレビュー結果の比較を行う。 12のオフザシェルフバックエンド、学習リスク、キャリブレーションに適合したクラス対応の信頼度推定器、それぞれが生のChowを6回打ち負かしている。 10の川駅に乗り換えると、ゲートは全てのケースにフラグを付け、常に見直されるフォールバックとなり、レビューが完璧で制約のない場合にのみ8つの駅で最低コストに達する。
  論文  参考訳（メタデータ） (2026-09-07T23:09:35Z)
• SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement [2.8129261352670003]
  我々は、調達をコストに配慮したルーティング問題として扱う統計第一のゲーティングアーキテクチャであるsysを提案する。 ゲートは間隔が狭く、サンプルサイズが適切で、軸が一致する場合にのみ決定を受理する。 コンサイドの勝利率は0.80、ポジションフリップ率は52%である。
  論文  参考訳（メタデータ） (2026-07-21T10:52:04Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing [0.11280931253550518]
  本稿では,トークンレベルのマージン不確かさをクエリごとのエラー確率にマッピングするキャリブレーションファーストルータUCCIを提案する。 UCCIは推論コストを31%削減し、エントロピー閾値、スプリットコンフォーマルルーティング、FrugalGPTスタイルの学習しきい値を上回る。
  論文  参考訳（メタデータ） (2026-05-11T07:06:57Z)
• The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
  最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。 モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
  論文  参考訳（メタデータ） (2026-04-14T16:48:24Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。