論文の概要: Enhancing reliability in AI inference services: An empirical study on real production incidents

• arxiv url: http://arxiv.org/abs/2511.07424v1
• Date: Fri, 17 Oct 2025 23:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-16 06:38:31.04205
• Title: Enhancing reliability in AI inference services: An empirical study on real production incidents
• Title（参考訳）: AI推論サービスの信頼性を高める:実運用時のインシデントに関する実証的研究
• Authors: Bhala Ranganathan, Mickey Zhang, Kai Wu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)推論インシデントに関する最初のプロバイダ間,実践ベースの分析手法を提案する。 我々は1年間の運用経験に基づく分類と方法論を開発し、156件の高重度事象を検証した。 本研究は,推論操作の系統的,経験的基礎解析が,大規模で信頼性が高く,コスト効率のよいLLMサービスを実現する方法を示す。
• 参考スコア（独自算出の注目度）: 6.549475714716768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperscale large language model (LLM) inference places extraordinary demands on cloud systems, where even brief failures can translate into significant user and business impact. To better understand and mitigate these risks, we present one of the first provider-internal, practice-based analysis of LLM inference incidents. We developed a taxonomy and methodology grounded in a year of operational experience, validating it on 156 high-severity incidents, and conducted a focused quantitative study of Apr-Jun 2025 to ensure recency and relevance. Our approach achieves high labeling consistency (Cohen's K ~0.89), identifies dominant failure modes (in our dataset ~60% inference engine failures, within that category ~40% timeouts), and surfaces mitigation levers (~74% auto-detected; ~28% required hotfix). Beyond hotfixes, many incidents were mitigated via traffic routing, node rebalancing, or capacity increase policies, indicating further automation opportunities. We also show how the taxonomy guided targeted strategies such as connection liveness, GPU capacity-aware routing, and per-endpoint isolation and reduced incident impact and accelerated recovery. Finally, we contribute a practitioner-oriented adoption checklist that enables others to replicate our taxonomy, analysis, and automation opportunities in their own systems. This study demonstrates how systematic, empirically grounded analysis of inference operations can drive more reliable and cost-efficient LLM serving at scale.
• Abstract（参考訳）: ハイパースケールな大規模言語モデル(LLM)推論は、短い障害でさえ大きなユーザとビジネスへの影響をもたらす、クラウドシステムに対する異常な要求を発生させる。 これらのリスクをよりよく理解し、緩和するために、LSM推論インシデントに関する最初のプロバイダ内的、実践的分析の1つを提示する。 我々は1年間の運用経験に基づく分類法と方法論を開発し、156件の高重度インシデントを検証し、Apr-Jun 2025を定量的に分析し、信頼性と妥当性を確かめた。 我々の手法は高いラベリング一貫性(コーエンのK ~0.89)を実現し、支配的な障害モード(我々のデータセットでは~60%の推論エンジン故障、そのカテゴリでは~40%のタイムアウト)と表面の緩和レバー(~74%の自動検出、〜28%のホットフィックス)を識別する。 ホットフィックス以外にも、多くのインシデントはトラフィックルーティングやノードリバランシング、キャパシティアップポリシを通じて緩和され、さらなる自動化の機会が示唆された。 また、接続寿命、GPUキャパシティ対応ルーティング、エンドポイント単位の分離、インシデントの影響の低減、リカバリの高速化といったターゲット戦略をどのように導いたかを示す。 最後に、私たちは実践者指向の採用チェックリストを提供し、他の人が自分たちのシステムで私たちの分類、分析、自動化の機会を再現できるようにします。 本研究は,推論操作の系統的,経験的基礎解析が,大規模で信頼性が高く,コスト効率のよいLLMサービスを実現する方法を示す。

関連論文リスト

• The Path of Self-Evolving Large Language Models: Achieving Data-Efficient Learning via Intrinsic Feedback [51.144727949988436]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める可能性を実証した。 本研究では,最小限のデータを用いたLLによるLLMの改善について検討する。 データ依存を最小限に抑えるため、自己認識に基礎を置いた2つの新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2025-10-03T06:32:10Z)
• Automatic Failure Attribution and Critical Step Prediction Method for Multi-Agent Systems Based on Causal Inference [8.823529310904162]
  マルチエージェントシステム(MAS)は複雑なタスクの自動化に不可欠であるが、その実践的展開は障害帰属の課題によって妨げられている。 マルチグラニュラリティ因果推論に基づくMASのための最初の失敗帰属フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-10T15:22:00Z)
• AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning [2.918225266151982]
  AVIATORはAIによる最初の脆弱性注入ワークフローである。 高忠実で多様な大規模な脆弱性データセット生成のために、現実的でカテゴリ固有の脆弱性を自動的に注入する。 セマンティック分析、LoRAベースのファインチューニングとRetrieval-Augmented Generationで強化されたインジェクション合成、静的解析とLLMベースの識別器によるインジェクション後の検証を組み合わせる。
  論文  参考訳（メタデータ） (2025-08-28T14:59:39Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• Learning Traffic Crashes as Language: Datasets, Benchmarks, and What-if Causal Analyses [76.59021017301127]
  我々は,CrashEventという大規模トラフィッククラッシュ言語データセットを提案し,実世界のクラッシュレポート19,340を要約した。 さらに,クラッシュイベントの特徴学習を,新たなテキスト推論問題として定式化し,さらに様々な大規模言語モデル(LLM)を微調整して,詳細な事故結果を予測する。 実験の結果, LLMに基づくアプローチは事故の重大度を予測できるだけでなく, 事故の種類を分類し, 損害を予測できることがわかった。
  論文  参考訳（メタデータ） (2024-06-16T03:10:16Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• PACE-LM: Prompting and Augmentation for Calibrated Confidence Estimation with GPT-4 in Cloud Incident Root Cause Analysis [17.362895895214344]
  大規模言語モデル(LLM)は、人間がクラウドインシデントの根本原因を特定するのに役立つ。 そこで本研究では,オンコール技術者がモデル予測を採用するかどうかの判断を支援するために,予測に対する信頼度推定を行うことを提案する。 提案手法は,推定された根本原因に対する校正された信頼度を推定し,検索した履歴データの有用性と促進戦略を検証できることを示す。
  論文  参考訳（メタデータ） (2023-09-11T21:24:00Z)
• A Generative Framework for Low-Cost Result Validation of Machine Learning-as-a-Service Inference [4.478182379059458]
  FidesはML-as-a-Service(ML)推論のリアルタイム整合性検証のための新しいフレームワークである。 Fidesは、統計的分析とばらつき測定を使用して、サービスモデルが攻撃を受けている場合、高い確率で識別するクライアント側攻撃検出モデルを備えている。 攻撃検出と再分類モデルの訓練のための生成的逆ネットワークフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-03-31T19:17:30Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [54.34189781923818]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。