論文の概要: SLS-Bench: A Benchmark for Incident Log Summarization with Synthetic Observability Data

• arxiv url: http://arxiv.org/abs/2610.16412v1
• Date: Mon, 12 Oct 2026 08:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.339293
• Title: SLS-Bench: A Benchmark for Incident Log Summarization with Synthetic Observability Data
• Title（参考訳）: SLS-Bench: 合成可観測データを用いたインシデントログ要約のためのベンチマーク
• Abstract要約: SLS-Benchはインシデントログの要約のベンチマークである。 90のタスクが現実世界のインシデントレポートに基礎を置いており、それぞれに合成ログストリームと参照サマリがある。 このパイプラインは、物語のグラウンディング、明示的なインシデントモデリング、ジェネレータ検証ループ、および実世界のログストリームとの統計的比較を組み合わせて、現実的で制御可能な可観測データを生成する。
• 参考スコア（独自算出の注目度）: 6.288538035880719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As IT systems grow in complexity, automated agent-driven incident response becomes increasingly critical. A key capability for these agents is summarizing large log streams into human-readable reports. Further progress requires meaningfully evaluating this function, yet existing benchmarks leave end-to-end summarization from large log streams underexplored due to the prohibitive cost and complexity of collecting real-world data. We introduce SLS-Bench, a benchmark for incident log summarization featuring 90 tasks grounded in real-world incident reports, each with a synthetic log stream and a reference summary. To construct SLS-Bench, we developed a data generation pipeline that converts incident reports into structured incident models, which guide the generation of synthetic logs and reference summaries. This pipeline combines narrative grounding, explicit incident modeling, generator-verifier loops, and statistical comparisons with real-world log streams to produce realistic and controllable observability data. Our evaluation of 14 LLMs on SLS-Bench shows that while frontier models can produce useful summaries, they do so at substantial cost and latency, and open-weight models lag significantly. SLS-Bench provides a framework for systematic evaluation of log analysis agents and a scalable blueprint for future synthetic observability benchmarks.
• Abstract（参考訳）: ITシステムが複雑化するにつれて、エージェント駆動による自動インシデント応答がますます重要になります。 これらのエージェントの重要な機能は、大きなログストリームを人間可読なレポートにまとめることである。 さらなる進歩には、この機能を有意義に評価する必要があるが、既存のベンチマークでは、実際のデータ収集の違法なコストと複雑さのために、探索されていない大規模なログストリームからエンドツーエンドの要約が残されている。 SLS-Benchは、実世界のインシデントレポートに基づいた90のタスクを特徴付けるインシデントログ要約のベンチマークであり、それぞれに合成ログストリームと参照要約を備えている。 SLS-Benchを構築するために,インシデントレポートを構造化インシデントモデルに変換するデータ生成パイプラインを開発した。 このパイプラインは、物語のグラウンディング、明示的なインシデントモデリング、ジェネレータ検証ループ、および実世界のログストリームとの統計的比較を組み合わせて、現実的で制御可能な可観測データを生成する。 SLS-Bench 上での 14 個の LLM の評価は,フロンティアモデルが有用な要約を生成できる一方で,相当なコストと遅延を伴い,オープンウェイトモデルが大幅に遅れていることを示す。 SLS-Benchは、ログ分析エージェントの体系的評価のためのフレームワークと、将来の合成可観測性ベンチマークのためのスケーラブルな青写真を提供する。

関連論文リスト

• A Unified Particle Filter LSTM for Data-Driven Process Simulation [1.9473631530390483]
  イベントログは、基礎となるプロセス状態の部分的なビューのみを提供する。 本稿では,重み付けされた再帰状態仮説を逐次更新する統一粒子フィルタLSTMを提案する。 このフレームワークは、イベントログデータからエンドツーエンドにトレーニングされ、3つの現実世界の緊急部署のデータセットで評価される。
  論文  参考訳（メタデータ） (2026-09-02T00:53:37Z)
• LLM4Log: A Systematic Review of Large Language Model-based Log Analysis [7.098062225687816]
  大規模言語モデル(LLM)は、意味的一般化とクロスソースエビデンスの統合を可能にすることにより、ログ分析を再構築した。 LLMはまた、コンテキスト制限、レイテンシ/コスト、プライバシ制約、幻覚といったデプロイメントリスクも導入している。 本稿では,LLMを用いたエンドツーエンドパイプラインにおけるログ解析の体系的レビューを行う。
  論文  参考訳（メタデータ） (2026-03-18T20:34:58Z)
• Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
  大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:23:20Z)
• Nimbus: A Unified Embodied Synthetic Data Generation Framework [51.55989844555466]
  データボリュームと多様性のスケーリングは、インボディードインテリジェンスを一般化するために重要である。 我々は、異種ナビゲーションと操作パイプラインを統合するために設計された統合合成データ生成フレームワークであるNimbusを紹介する。 評価の結果,Nimbusは最適化されていないベースラインに比べてエンドツーエンドのスループットが2～3倍向上していることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T09:27:31Z)
• Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers [103.4410890572479]
  スケーラブルな合成データ生成と検証のためのオープンソースのフレームワークであるLoong Projectを紹介します。 LoongBenchは、12のドメインにまたがる8,729の人為的なサンプルを含む、キュレートされたシードデータセットである。 LoongEnvはモジュラー合成データ生成環境であり、新しい質問応答コードのトリプルを生成する複数のプロンプト戦略をサポートする。
  論文  参考訳（メタデータ） (2025-09-03T06:42:40Z)
• MSRS: Evaluating Multi-Source Retrieval-Augmented Generation [51.717139132190574]
  多くの現実世界のアプリケーションは、複数のソースにまたがる情報を統合して要約する能力を必要としている。 本稿では、RAGシステムに対して異なるソース間で情報を統合するための評価ベンチマークを構築するためのスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-28T14:59:55Z)
• Can LLMs Reason Structurally? An Evaluation via the Lens of Data Structures [21.390740746718947]
  DSR-Benchは,大規模言語モデルの構造的推論を体系的に評価する最初のベンチマークである。 ベンチマークは、20のデータ構造、35の操作、および、最小限の汚染で合成生成された4,140の問題インスタンスにまたがる。
  論文  参考訳（メタデータ） (2025-05-29T23:24:53Z)
• LLM-TabLogic: Preserving Inter-Column Logical Relationships in Synthetic Tabular Data via Prompt-Guided Latent Diffusion [49.898152180805454]
  合成データセットはドメイン固有の論理的一貫性を維持する必要がある。 既存の生成モデルは、しばしばこれらのカラム間の関係を見落としている。 本研究では,ドメイン知識を必要とせずに列間関係を効果的に維持する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T00:47:52Z)
• Towards a Robust Retrieval-Based Summarization System [11.747998334533776]
  本稿では,大規模言語モデル(LLM)のRAGに基づく要約タスクに対する堅牢性について検討する。 最初のコントリビューションはLogicSummで、現実的なシナリオを取り入れた革新的な評価フレームワークです。 LogiSummによって特定された制限に基づいて、トレーニング対話を作成し、堅牢性を高めるためのモデルを微調整する包括的システム SummRAG を開発した。
  論文  参考訳（メタデータ） (2024-03-29T00:14:46Z)
• Log2NS: Enhancing Deep Learning Based Analysis of Logs With Formal to Prevent Survivorship Bias [0.37943450391498496]
  本稿では,機械学習(ML)による観測データに対する確率的解析と,基礎となる形式モデルに基づく記号的推論から導出される確実性を組み合わせたフレームワークであるlog to Neuro-symbolic (Log2NS)を紹介する。 Log2NSは、静的ログと相関エンジンからポジティブなインスタンスを問い合わせる機能と、ネガティブなインスタンスと目に見えないインスタンスの正式な推論を提供する。
  論文  参考訳（メタデータ） (2021-05-29T00:01:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。