論文の概要: Beyond Capability Benchmarks: Learning Operational Fingerprints of LLM Cloud Services from Production Incident Metadata

• arxiv url: http://arxiv.org/abs/2608.26332v1
• Date: Wed, 26 Aug 2026 19:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.160553
• Title: Beyond Capability Benchmarks: Learning Operational Fingerprints of LLM Cloud Services from Production Incident Metadata
• Title（参考訳）: 能力ベンチマークを超えて - 生産インシデントメタデータからLLMクラウドサービスの運用指紋を学ぶ
• Abstract要約: LLMクラウドサービスのコンパクトな動作指紋を学習するためのフレームワークであるOperational Embedding (OpEmbed)を提案する。 OpEmbedはモデル時ウィンドウを8チャンネルのオペレーショナルシグネチャに集約し、低次元の表現を学ぶ。 Google Cloudで26ヶ月にわたって7つのLLMファミリにまたがる33,000以上のプロダクションサポートケースを評価した。
• 参考スコア（独自算出の注目度）: 8.795708525667235
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Managed LLM services are now part of real production systems, but model selection and service planning still rely heavily on capability benchmarks that reveal little about operational behavior after deployment. We present Operational Embedding (OpEmbed), a framework for learning compact operational fingerprints of LLM cloud services from structured, privacy-preserving support-case metadata, without using case text. OpEmbed aggregates model--time windows into an eight-channel operational signature and learns a low-dimensional representation via temporal contrastive learning, cross-view reconstruction, and generational-ordinality regularization. Evaluated on more than 33,000 production support cases spanning seven LLM families over 26 months at Google Cloud, OpEmbed recovers interpretable family- and version-level structure, improves leave-one-model-out operational forecasting over non-learned baselines, remains useful under limited early-window data, and supports cross-model fault-type transfer. We report the practical lessons learned from building and evaluating this tool for model onboarding, support readiness assessment, and operational monitoring.
• Abstract（参考訳）: マネージドLLMサービスは、現在では実運用システムの一部となっているが、モデルの選択とサービスプランニングは、デプロイ後の運用動作をほとんど明らかにしない機能ベンチマークに大きく依存している。 我々は,LLMクラウドサービスのコンパクトな動作指紋を,ケーステキストを使わずに,構造化されたプライバシ保護型サポートケースメタデータから学習するフレームワークであるOperational Embedding (OpEmbed)を提案する。 OpEmbedはモデル時ウィンドウを8チャンネルの運用シグネチャに集約し、時間的コントラスト学習、クロスビュー再構成、世代正規化を通じて低次元表現を学ぶ。 Google Cloudで26ヶ月にわたって7つのLLMファミリーにまたがる33,000以上のプロダクションサポートケースを評価し、OpEmbedは、解釈可能なファミリーレベルの構造とバージョンレベルの構造を回復し、非学習ベースラインに対する1つのモデルアウトの運用予測を改善し、アーリーウインドウの限られたデータの下では有用であり、クロスモデルフォールトタイプの転送をサポートする。 本稿では,本ツールの構築と評価から得られた実践的教訓を報告する。

関連論文リスト

• Continual Learning for Sequential Personalization of Small Language Models: A Stability Monitoring Analysis [1.6516902135723865]
  小型言語モデル(SLM)は、ノートパソコンなどのエッジデバイスへのデプロイメントにおいて、ますます検討されている。 パーソナライゼーションは、時間をかけてユーザやタスク固有のデータに適応し、継続的な学習環境に配置するモデルを必要とする。 TRACEなどの最近のベンチマークでは、連続的な微調整は、整列した大言語モデルの一般的な能力を著しく低下させることができることが示されている。
  論文  参考訳（メタデータ） (2026-06-26T01:16:03Z)
• FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads [16.76279354590167]
  FineServeは、グローバルな商用マーケットプレースから収集された、WildのマルチモデルLDMサービスワークロードデータセットである。 我々は到着ダイナミクスとトークンの挙動を包括的に分析し、モデルアーキテクチャ、スケール、タスク間で根本的に異なる変動状態を明らかにする。 我々はFinServeワークロードジェネレータを開発し、細粒度モデル対応のワークロードを、マルチモデルサービスプラットフォームのベンチマークに適したミックスに構成する。
  論文  参考訳（メタデータ） (2026-04-17T13:02:56Z)
• FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios [58.34124792457706]
  製造業セクターは、単純な認識から自律的な実行に移行するために、MLLM(Multimodal Large Language Models)をますます採用している。 進捗は、データの不足と、既存のデータセットにおけるきめ細かいドメインセマンティクスの欠如によって妨げられている。 まず、実世界の2D画像と3Dポイントクラウドを組み合わせて、微粒なドメインセマンティクスを付加した高品質なデータセットを構築します。 次に, 3 つの製造課題,すなわち, 構造面検査, 組立検査, 組立検証の18の最先端MLLMを評価し, 大幅な性能差を明らかにした。
  論文  参考訳（メタデータ） (2026-04-08T12:23:27Z)
• VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining [49.78591189918702]
  VisualToolChain-Bench (VTC-Bench)を導入し,マルチモーダル大言語モデル(MLLM)におけるツール使用の習熟度を評価する。 リアルなコンピュータビジョンパイプラインに合わせるために、我々のフレームワークは32種類のOpenCVベースの視覚操作を備えている。 正確な評価のために、9カテゴリの認知階層にまたがる680のキュレートされた問題を提示する。
  論文  参考訳（メタデータ） (2026-03-16T09:31:44Z)
• Self-Abstraction from Grounded Experience for Plan-Guided Policy Refinement [61.35824395228412]
  大規模言語モデル(LLM)ベースのエージェントは、ソフトウェア工学のタスクに取り組むためにますます使われています。 エージェントが自身のタスク実行から学習することを可能にするフレームワークであるSAGE(Self-Abstraction from Grounded Experience)を提案する。
  論文  参考訳（メタデータ） (2025-11-08T08:49:38Z)
• Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud [12.651588927599441]
  モデル微調整の効率を大幅に向上するために,データ拡張モデル群を提案する。 これらのモデルは十分に小さなLLMに基づいて訓練され、推論コストの低い重要な機能をサポートする。 実験と応用研究は、我々のアプローチの有効性を証明した。
  論文  参考訳（メタデータ） (2024-12-06T09:04:12Z)
• RED-CT: A Systems Design Methodology for Using LLM-labeled Data to Train and Deploy Edge Classifiers for Computational Social Science [0.46560775769914914]
  大規模言語モデル(LLM)は、構造化されていない自然言語データを迅速に分析し分類する能力を向上した。 しかしながら、コスト、ネットワーク制限、セキュリティ上の制約に関する懸念は、彼らの作業プロセスへの統合に問題を引き起こしている。 本研究では,下流教師あり学習タスクにおいて,LLMを不完全なデータアノテータとして利用するシステム設計手法を採用する。
  論文  参考訳（メタデータ） (2024-08-15T15:28:37Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。