論文の概要: LESS: Efficient Log Storage System Based on Learned Model and Minimum Attribute Tree

• arxiv url: http://arxiv.org/abs/2411.17091v1
• Date: Tue, 26 Nov 2024 04:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:41.850951
• Title: LESS: Efficient Log Storage System Based on Learned Model and Minimum Attribute Tree
• Title（参考訳）: LESS:学習モデルと最小属性木に基づく効率的なログストレージシステム
• Authors: Zhiyang Cheng, Zizhen Zhu, Haoran Dang, Hai Wan, Xibin Zhao,
• Abstract要約: 本稿では,より小さなストレージ空間を消費し,より高速なストレージとクエリをサポートする新しいプロファイランスグラフストレージシステムであるLESSを提案する。 我々は、前駆グラフをグラフ構造と属性の2つの異なる構成要素に分割し、それらを個別に保存する。 最先端のアプローチと比較すると、LEONARDはストレージ時間の6.29倍、ディスク使用率の5.24倍、クエリ速度の18.3倍を実現している。
• 参考スコア（独自算出の注目度）: 21.685286410387313
• License:
• Abstract: In recent years, cyber attacks have become increasingly sophisticated and persistent. Detection and investigation based on the provenance graph can effectively mitigate cyber intrusion. However, in the long time span of defenses, the sheer size of the provenance graph will pose significant challenges to the storage systems. Faced with long-term storage tasks, existing methods are unable to simultaneously achieve lossless information, efficient compression, and fast query support. In this paper, we propose a novel provenance graph storage system, LESS, which consumes smaller storage space and supports faster storage and queries compared to current approaches. We innovatively partition the provenance graph into two distinct components, the graph structure and attribute, and store them separately. Based on their respective characteristics, we devise two appropriate storage schemes: the provenance graph structure storage method based on machine learning and the use of the minimal spanning tree to store the graph attributes. Compared with the state-of-the-art approach, LEONARD, LESS reduces 6.29 times in storage time, while also achieving a 5.24 times reduction in disk usage and an 18.3 times faster query speed while using only 11.5% of the memory on DARPA TC dataset.
• Abstract（参考訳）: 近年、サイバー攻撃はますます洗練され、絶え間ないものになっている。 プロヴァンスグラフに基づく検出と調査は、サイバー侵入を効果的に軽減することができる。 しかし、長期にわたる防衛において、プロファイランスグラフの巨大化は、ストレージシステムに重大な課題をもたらすだろう。 長期のストレージタスクに直面して、既存のメソッドは損失のない情報、効率的な圧縮、高速なクエリサポートを同時に達成できない。 本稿では,より小さなストレージ空間を消費し,より高速なストレージとクエリをサポートする新しいプロファイランスグラフストレージシステムであるLESSを提案する。 創発グラフを2つの異なる構成要素,すなわちグラフ構造と属性に分割し,個別に保存する。 それぞれの特徴に基づいて,機械学習に基づくプロファイランスグラフ構造記憶法と,グラフ属性を格納するための最小スパンニングツリーの利用という,2つの適切な記憶方式を考案した。 最先端のアプローチと比較すると、LESSはストレージ時間の6.29倍、ディスク使用量の5.24倍、クエリ速度は18.3倍、DARPA TCデータセットのメモリの11.5%しか使用していない。

関連論文リスト

• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• MeMSVD: Long-Range Temporal Structure Capturing Using Incremental SVD [27.472705540825316]
  本論文は、長時間の時間窓上での人間の行動を認識すること(最大数分)を目標とする長期映像理解について述べる。 本稿では,Singular Value Decomposition を用いて取得したメモリの低ランク近似に基づくアテンションベースのスキームの代替を提案する。 提案手法には2つの利点がある: (a) 複雑度を1桁以上削減し, (b) メモリベース計算の効率的な実装が可能である。
  論文  参考訳（メタデータ） (2024-06-11T12:03:57Z)
• AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
  DiskANNは、RAMとストレージの両方を使用して、大規模データセットのリコール速度バランスを良好に実現している。 製品量子化(PQ)による圧縮ベクターのロードによるメモリ使用量の削減を主張する一方で、そのメモリ使用量はデータセットの規模に比例して増加する。 本稿では、圧縮されたベクトルをストレージにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。
  論文  参考訳（メタデータ） (2024-04-09T04:20:27Z)
• Robust and Efficient Memory Network for Video Object Segmentation [6.7995672846437305]
  本稿では,半教師付きビデオオブジェクトセグメンテーション(VOS)研究のためのロバストかつ効率的なメモリネットワーク(REMN)を提案する。 我々は,前景の物体の特徴を前景のマスクで高めることにより,背景の乱れに対処する局所的な注意機構を導入する。 実験によると、我々のREMNはDAVIS 2017で最先端の結果を達成しており、$mathcalJ&F$スコアは86.3%、YouTube-VOS 2018では$mathcalG$平均85.5%である。
  論文  参考訳（メタデータ） (2023-04-24T06:19:21Z)
• SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage [52.317406324182215]
  大規模データセットに対する視覚分類器の記憶効率向上のための学習手法を提案する。 私たちのトークンストレージは、JPEG圧縮されたオリジナルの生ピクセルの1%しか必要としない。 ImageNet-1kによる実験結果から,本手法は,他のストレージ効率のトレーニング手法よりも大幅に優れており,大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2023-03-20T13:55:35Z)
• Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation [50.158454960223274]
  既存のビデオドメイン適応(DA)手法は、ビデオフレームの時間的組み合わせを全て格納するか、ソースとターゲットのビデオをペアにする必要がある。 本稿では,メモリ効率の高いグラフベースビデオDA手法を提案する。
  論文  参考訳（メタデータ） (2022-08-13T02:56:10Z)
• Memory-guided Image De-raining Using Time-Lapse Data [83.12497916664904]
  降雨物に隠れた1枚の画像から、きれいで無雨な背景のシーンを復元する作業である、単一画像デライニングの課題に対処する。 本稿では,長期雨天情報をタイムラプスデータに記録する上で,メモリネットワークに基づく新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-01-06T01:36:59Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• Large-Scale Visual Search with Binary Distributed Graph at Alibaba [40.228306219456506]
  グラフベースの近接検索は、オンライン検索の優位性により、ますます注目を集めている。 数十億のオンライン画像が展開されている視覚検索システムでは、時間内に10億スケールのオフライングラフを構築することが不可欠だ。 本稿では,この問題を解決するために分散バイナリグラフという新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-09T05:51:34Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。