論文の概要: TraceMesh: Scalable and Streaming Sampling for Distributed Traces

• arxiv url: http://arxiv.org/abs/2406.06975v1
• Date: Tue, 11 Jun 2024 06:13:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 17:13:54.311235
• Title: TraceMesh: Scalable and Streaming Sampling for Distributed Traces
• Title（参考訳）: TraceMesh: 分散トレースのためのスケーラブルでストリーミングのサンプリング
• Authors: Zhuangbin Chen, Zhihan Jiang, Yuxin Su, Michael R. Lyu, Zibin Zheng,
• Abstract要約: TraceMeshは、分散トレースのためのスケーラブルでストリーミングなサンプリングツールである。 以前は見つからなかったトレース機能を、統一的で合理化された方法で扱える。 TraceMeshは、サンプリング精度と効率の両方において、最先端の手法よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 51.08892669409318
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Distributed tracing serves as a fundamental element in the monitoring of cloud-based and datacenter systems. It provides visibility into the full lifecycle of a request or operation across multiple services, which is essential for understanding system dependencies and performance bottlenecks. To mitigate computational and storage overheads, most tracing frameworks adopt a uniform sampling strategy, which inevitably captures overlapping and redundant information. More advanced methods employ learning-based approaches to bias the sampling toward more informative traces. However, existing methods fall short of considering the high-dimensional and dynamic nature of trace data, which is essential for the production deployment of trace sampling. To address these practical challenges, in this paper we present TraceMesh, a scalable and streaming sampler for distributed traces. TraceMesh employs Locality-Sensitivity Hashing (LSH) to improve sampling efficiency by projecting traces into a low-dimensional space while preserving their similarity. In this process, TraceMesh accommodates previously unseen trace features in a unified and streamlined way. Subsequently, TraceMesh samples traces through evolving clustering, which dynamically adjusts the sampling decision to avoid over-sampling of recurring traces. The proposed method is evaluated with trace data collected from both open-source microservice benchmarks and production service systems. Experimental results demonstrate that TraceMesh outperforms state-of-the-art methods by a significant margin in both sampling accuracy and efficiency.
• Abstract（参考訳）: 分散トレースは、クラウドベースおよびデータセンタシステムの監視において、基本的な要素として機能する。 これは、システム依存関係とパフォーマンスボトルネックを理解するために不可欠である、複数のサービスにわたる要求やオペレーションの完全なライフサイクルを可視化する。 計算とストレージのオーバーヘッドを軽減するため、ほとんどのトレースフレームワークでは、重複や冗長な情報を必然的にキャプチャする一様サンプリング戦略を採用している。 より高度な手法では、より情報的なトレースに対してサンプリングをバイアスする学習ベースのアプローチを採用している。 しかし, 既存の手法では, トレースデータの高次元的, 動的性質を考慮せず, トレースサンプリングの量産に不可欠である。 本稿では,分散トレースのためのスケーラブルでストリーミングなサンプリングツールであるTraceMeshについて述べる。 TraceMeshはLocality-Sensitivity Hashing (LSH)を使用して、トレースを低次元空間に投影し、類似性を保ちながらサンプリング効率を向上させる。 このプロセスでは、TraceMeshは、統一的で合理化された方法で、これまで見つからなかったトレース機能に対応している。 その後、TraceMeshはクラスタリングを進化させ、サンプリング決定を動的に調整し、繰り返しトレースのオーバーサンプリングを避ける。 提案手法は,オープンソースのマイクロサービスベンチマークと実運用サービスシステムから収集したトレースデータを用いて評価する。 実験結果から,TraceMeshはサンプリング精度と効率の両面で,最先端の手法よりも優れた性能を示した。

関連論文リスト

• Stochastic Localization via Iterative Posterior Sampling [2.1383136715042417]
  我々は、一般的なローカライゼーションフレームワークを検討し、フレキシブルなdenoisingスケジュールに関連する観察プロセスの明示的なクラスを導入する。 我々は、このダイナミクスの近似的なサンプルを得るために、SLIPS (Iterative Posterior Sampling$) による完全な方法論である $textitStochastic Localization を提供する。 SLIPSの利点と適用性について,数種類のマルチモーダル分布のベンチマークで論じる。例えば,増加次元の混合,ロジスティック回帰,統計力学からの高次元場システムなどである。
  論文  参考訳（メタデータ） (2024-02-16T15:28:41Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• DAS: Densely-Anchored Sampling for Deep Metric Learning [43.81322638018864]
  本研究では, アンカー近傍の埋め込み空間を利用してデータポイントのない埋め込みを密に生成するDensely-Anchored Smpling (DAS) 方式を提案する。 提案手法は既存のDMLフレームワークに統合され,ベルやホイッスルを使わずに改善されている。
  論文  参考訳（メタデータ） (2022-07-30T02:07:46Z)
• A Bayesian Detect to Track System for Robust Visual Object Tracking and Semi-Supervised Model Learning [1.7268829007643391]
  ニューラルネットワークの出力によってパラメータ化されたベイズ追跡・検出フレームワークにおける副次的問題について述べる。 本稿では,粒子フィルタを用いた物体状態推定のための近似サンプリングアルゴリズムを提案する。 粒子フィルタ推論アルゴリズムを用いて,間欠的なラベル付きフレーム上でのトラッキングネットワークの学習に半教師付き学習アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2022-05-05T00:18:57Z)
• An Efficient Anomaly Detection Approach using Cube Sampling with Streaming Data [2.0515785954568626]
  異常検出は侵入検知、健康モニタリング、故障診断、センサネットワークイベント検出など様々な分野で重要である。 孤立林(アイフォレスト)アプローチは、異常を検出するためのよく知られた手法である。 本稿では,ストリーミングデータに有効なキューブサンプリングを用いた,効率的なiForestに基づく異常検出手法を提案する。
  論文  参考訳（メタデータ） (2021-10-05T04:23:00Z)
• Beyond Farthest Point Sampling in Point-Wise Analysis [52.218037492342546]
  本稿では,ポイントワイズ分析タスクのための新しいデータ駆動型サンプル学習手法を提案する。 我々はサンプルと下流のアプリケーションを共同で学習する。 実験により, 従来のベースライン法に比べて, サンプルとタスクの同時学習が顕著に改善することが示された。
  論文  参考訳（メタデータ） (2021-07-09T08:08:44Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)
• Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination [202.2562153608092]
  本稿では,2段階の逐次回帰トラッカーを提案する。 第1段階では, 容易に同定可能な負の候補を抽出する。 第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
  論文  参考訳（メタデータ） (2020-06-18T07:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。