論文の概要: MOSS: A Production Framework for Monitoring and Diagnosing Semantic Failures in Search and Recommendation Systems

• arxiv url: http://arxiv.org/abs/2610.26902v1
• Date: Fri, 16 Oct 2026 21:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.380954
• Title: MOSS: A Production Framework for Monitoring and Diagnosing Semantic Failures in Search and Recommendation Systems
• Title（参考訳）: MOSS:サーチ・レコメンデーションシステムにおける意味的障害のモニタリングと診断のための生産フレームワーク
• Abstract要約: MOSS(Model Sanity Service)は、関連するスコアを繰り返し監視ループに埋め込んだプロダクションフレームワークである。 MOSSは、推奨、検索、サーフェスで6ヶ月以上にわたり、米国の大手小売店で生産されている。 498対の人間アノテート・レコメンデーション・ベンチマークでは、フロンティアのLLM審査員は非LLM基準よりも高いF1とAUC点推定を達成している。
• 参考スコア（独自算出の注目度）: 2.904677594049899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting semantic failures in production recommendation and search systems is hard: behavioral metrics lag by days, manual review does not scale, and most LLM evaluation frameworks are designed for offline, fixed datasets rather than continuous operational monitoring. We present Model Sanity Service (MOSS), a production framework that addresses this operational gap by embedding LLM-based relevance scoring into a recurring monitoring loop with targeted sampling, strategy-aware prompting, structured alerting, and diagnostic follow-up prompting that categorizes failures into actionable root causes. MOSS has been running in production at a large U.S. retailer for over six months across recommendation, search, and offer surfaces, and has surfaced two confirmed serving defects. For one of these, a backfill blending defect, MOSS quantified the impact of the proposed fix offline as a 76.4\% relative reduction in alert rate. On a 498-pair human-annotated recommendation benchmark, frontier LLM judges achieve higher F1 and AUC point estimates than non-LLM baselines (internal production embeddings and SBERT), with the largest gains on strategy-dependent tasks requiring intent-level relational reasoning. The same judge, score scale, and threshold transfer to a 466-pair search benchmark spanning 21 queries with only a surface-specific prompt adaptation, achieving strong F1 and AUC without retuning. These results show that a single LLM monitoring framework can provide useful, actionable quality signals across multiple product discovery surfaces in a large-scale e-commerce setting.
• Abstract（参考訳）: 製品レコメンデーションとサーチシステムにおけるセマンティック障害の検出は難しい: 行動メトリクスが日単位で遅延し、手動によるレビューはスケールせず、ほとんどのLCM評価フレームワークは、継続的な運用監視ではなく、オフラインで固定されたデータセット用に設計されている。 この運用ギャップに対処する生産フレームワークであるModel Sanity Service(MOSS)を、目標サンプリング、戦略対応プロンプト、構造化アラート、診断フォローアップといった、LCMベースの関連性スコアを繰り返し監視ループに埋め込むことで、障害を実行可能な根本原因に分類する。 MOSSは、リコメンデーション、検索、サーフェスで6ヶ月以上にわたって米国の大手小売店で稼働しており、2つのサービス障害が確認されている。 そのうちの1つとして、バックフィルブレンディング欠陥であるMOSSは、提案された修正の影響を76.4\%の相対的な警告率低下として定量化した。 498対の人間アノテートレコメンデーションベンチマークでは、フロンティアのLLM判事は、非LLMベースライン(内部生産の埋め込みとSBERT)よりも高いF1とAUC点推定を達成する。 同じ判断、スコアスケール、しきい値が、21のクエリにまたがる466ペアの検索ベンチマークに転送される。 これらの結果から,大規模なeコマース環境において,単一のLCM監視フレームワークが複数の製品発見面に対して有用な,実用的な品質信号を提供することが可能であることが示唆された。

関連論文リスト

• Detecting Defects that Matter: An Application-Driven Benchmark for Anomaly Detection in Manufacturing and Retail Logistics (VAND 4.0 Challenge) [3.3553159830620163]
  工業生産と小売ロジスティクスという,2つのデプロイメントクリティカルな領域にまたがる,隠れテストによるアプリケーション駆動ベンチマークを導入する。 産業用トラック (MVTec AD2) では, 教師なしの異常セグメンテーションが依然として困難であることが判明した。 Retail Track (Kaputt 2) では、教師付き欠陥検出が一般的な欠陥タイプに対する飽和に近づいていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-10-03T09:29:22Z)
• GALA: Graph-Augmented LLM Agents for Root Cause Analysis and Incident Response in Microservices [7.985937450027174]
  本稿では,グラフ誘導調査を中心とした LLM エージェントフレームワークである GALA+ について述べる。 GALA+は、ランク付けされた診断、インシデントサマリー、および階層化されたアクションレコメンデーションを生成する。 2つのマイクロサービスベンチマークでは、GALA+が最強の結果を継続的に達成している。
  論文  参考訳（メタデータ） (2026-08-10T00:15:07Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
  フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。 軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。 我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
  論文  参考訳（メタデータ） (2026-02-18T14:55:35Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Pareto Optimal Learning for Estimating Large Language Model Errors [12.21899680905672]
  大規模言語モデル(LLM)は多くのアプリケーションで印象的な能力を示している。 複数の情報ソースを統合することで,LSM応答における誤り確率を推定するリスクスコアを生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-28T21:11:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。