論文の概要: Tracezip: Efficient Distributed Tracing via Trace Compression
- arxiv url: http://arxiv.org/abs/2502.06318v1
- Date: Mon, 10 Feb 2025 10:13:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:34:17.171732
- Title: Tracezip: Efficient Distributed Tracing via Trace Compression
- Title（参考訳）: Tracezip: トレース圧縮による効率的な分散トレース
- Authors: Zhuangbin Chen, Junsong Pu, Zibin Zheng,
- Abstract要約: 分散トレースは、クラウドサービスシステムの監視とテストにおいて、ビルディングブロックとして機能する。
ヘッドベースサンプリングは、システムに入ると追跡するリクエストを無差別に選択する。
tailベースのサンプリングはすべてのリクエストをトレースし、エッジケーストレースを選択的に永続化する。
トレース圧縮による分散トレースの効率を向上させるため,Tracezipを提案する。
- 参考スコア（独自算出の注目度）: 26.353398496686854
- License:
- Abstract: Distributed tracing serves as a fundamental building block in the monitoring and testing of cloud service systems. To reduce computational and storage overheads, the de facto practice is to capture fewer traces via sampling. However, existing work faces a trade-off between the completeness of tracing and system overhead. On one hand, head-based sampling indiscriminately selects requests to trace when they enter the system, which may miss critical events. On the other hand, tail-based sampling traces all requests and selectively persist the edge-case traces, which entails the overheads related to trace collection and ingestion. Taking a different path, in this paper we propose Tracezip to enhance the efficiency of distributed tracing via trace compression. Our key insight is that there exists significant redundancy among traces, which results in repetitive transmission of identical data between the services and backend. We design a new data structure named Span Retrieval Tree (SRT) that continuously encapsulates such redundancy at the service side and transforms trace spans into a lightweight form. At the backend, the full traces can be seamlessly reconstructed by retrieving the common data already delivered by previous spans. Tracezip includes a series of strategies to optimize the structure of SRT and a differential update mechanism to efficiently synchronize SRT between services and backend. Our evaluation on microservices benchmarks, popular cloud service systems, and production trace data demonstrate that Tracezip can achieve substantial performance gains in trace collection, with negligible overhead. We have implemented Tracezip inside OpenTelemetry Collector, making it compatible with existing tracing APIs.
- Abstract（参考訳）: 分散トレースは、クラウドサービスシステムの監視とテストにおいて、基本的なビルディングブロックとして機能する。
計算とストレージのオーバーヘッドを減らすために、デファクトのプラクティスはサンプリングによって少ないトレースをキャプチャすることである。
しかし、既存の作業は、トレースの完全性とシステムのオーバーヘッドの間のトレードオフに直面します。
一方、ヘッドベースサンプリングでは、システムがシステムに入る際に追跡するリクエストを無差別に選択する。
一方、テールベースのサンプリングはすべてのリクエストをトレースし、エッジケーストレースを選択的に永続化する。
そこで本稿では,トレース圧縮による分散トレースの効率向上を目的としたTracezipを提案する。
私たちのキーとなる洞察は、トレース間に大きな冗長性が存在し、その結果、サービスとバックエンド間で同じデータが繰り返し送信されるということです。
SRT(Span Retrieval Tree)と呼ばれる新しいデータ構造を設計し、サービス側でそのような冗長性を継続的にカプセル化し、トレーススパンを軽量な形式に変換する。
バックエンドでは、以前のスパンですでに提供されていた共通データを取得することで、完全なトレースをシームレスに再構築することができる。
Tracezipには、SRTの構造を最適化する一連の戦略と、サービスとバックエンド間でSRTを効率的に同期する差分更新メカニズムが含まれている。
マイクロサービスベンチマーク、一般的なクラウドサービスシステム、および運用トレースデータに対する我々の評価は、Tracezipがトレースコレクションにおける大幅なパフォーマンス向上を、無視可能なオーバーヘッドで達成できることを示しています。
OpenTelemetry Collector内でTracezipを実装しており、既存のトレースAPIと互換性があります。
関連論文リスト
- FastTrackTr:Towards Fast Multi-Object Tracking with Transformers [8.276525794285025]
トランスフォーマーベースのマルチオブジェクト追跡(MOT)モデルは、しばしば構造や他の問題によって推論速度が遅くなる。
本稿では,高速かつ斬新なJDT型MOTフレームワークであるFastTrackTrを構築し,DETR上のフレーム間の情報伝達を効率的に行う手法を提案する。
この情報伝達手法の優位性により,本手法はトラッキング時に要求されるクエリ数を削減できるだけでなく,ネットワーク構造が過度に導入されるのを避けることができる。
論文 参考訳（メタデータ） (2024-11-24T12:34:02Z) - PTR: A Pre-trained Language Model for Trajectory Recovery [31.08861372332931]
そこで我々は, PTR と呼ばれるフレームワークを提案し, 限られた高密度軌跡データの問題を緩和する。
PTRは明示的な軌道プロンプトを組み込み、複数のサンプリング間隔を持つデータセットでトレーニングされる。
また、軌道点を符号化し、観測点と欠点の両方の埋め込みをPLMに理解可能な形式に変換する軌道埋め込み器を提案する。
論文 参考訳（メタデータ） (2024-10-18T08:38:12Z) - TraceMesh: Scalable and Streaming Sampling for Distributed Traces [51.08892669409318]
TraceMeshは、分散トレースのためのスケーラブルでストリーミングなサンプリングツールである。
以前は見つからなかったトレース機能を、統一的で合理化された方法で扱える。
TraceMeshは、サンプリング精度と効率の両方において、最先端の手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2024-06-11T06:13:58Z) - Training Through Failure: Effects of Data Consistency in Parallel Machine Learning Training [0.0]
本研究では,障害時の並列機械学習トレーニングにおけるデータ一貫性の緩和の影響について検討する。
私たちの障害復旧戦略には、従来のチェックポイント、チェーンレプリケーション、新しいステートレスパラメータサーバアプローチが含まれています。
論文 参考訳（メタデータ） (2024-06-08T18:31:56Z) - Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。
DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。
複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2024-03-26T12:31:58Z) - Pathway: a fast and flexible unified stream data processing framework
for analytical and Machine Learning applications [7.850979932441607]
Pathwayは新しい統一データ処理フレームワークで、バウンドとアンバウンドのデータストリームの両方でワークロードを実行できる。
本稿では,本システムについて述べるとともに,バッチとストリーミングの両コンテキストにおいて,その性能を示すベンチマーク結果を示す。
論文 参考訳（メタデータ） (2023-07-12T08:27:37Z) - Revisiting Color-Event based Tracking: A Unified Network, Dataset, and
Metric [53.88188265943762]
上記の機能を同時に実現したCEUTrack(Color-Event Unified Tracking)のためのシングルステージバックボーンネットワークを提案する。
提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。
論文 参考訳（メタデータ） (2022-11-20T16:01:31Z) - Joint Feature Learning and Relation Modeling for Tracking: A One-Stream
Framework [76.70603443624012]
特徴学習と関係モデリングを統合した新しい一ストリーム追跡(OSTrack)フレームワークを提案する。
このようにして、相互誘導により識別的目標指向特徴を動的に抽出することができる。
OSTrackは、複数のベンチマークで最先端のパフォーマンスを実現しており、特に、ワンショットトラッキングベンチマークのGOT-10kでは印象的な結果を示している。
論文 参考訳（メタデータ） (2022-03-22T18:37:11Z) - Chained-Tracker: Chaining Paired Attentive Regression Results for
End-to-End Joint Multiple-Object Detection and Tracking [102.31092931373232]
そこで我々は,3つのサブタスク全てをエンド・ツー・エンドのソリューションに統合する簡単なオンラインモデルである Chained-Tracker (CTracker) を提案する。
鎖状構造と対の注意的回帰という2つの大きな特徴は、CTrackerをシンプルに、速く、効果的にする。
論文 参考訳（メタデータ） (2020-07-29T02:38:49Z) - Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。
DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。
ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文 参考訳（メタデータ） (2020-06-22T08:20:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。