論文の概要: Hammer: Towards Efficient Hot-Cold Data Identification via Online Learning

• arxiv url: http://arxiv.org/abs/2411.14759v1
• Date: Fri, 22 Nov 2024 06:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:56.114013
• Title: Hammer: Towards Efficient Hot-Cold Data Identification via Online Learning
• Title（参考訳）: Hammer: オンライン学習による効率的なホットコールドデータ識別を目指して
• Authors: Kai Lu, Siqi Zhao, Jiguang Wan,
• Abstract要約: ビッグデータとクラウドコンピューティング環境におけるストレージリソースの管理には、データの"コールド"と"ホット"状態の正確な識別が必要である。 ルールベースのアルゴリズムや初期のAIテクニックといった従来の手法は、動的ワークロードと苦労することが多い。 本稿では,オンライン学習戦略に基づく新たなソリューションを提案し,精度の向上と運用コストの低減を図る。
• 参考スコア（独自算出の注目度）: 12.60117987781744
• License:
• Abstract: Efficient management of storage resources in big data and cloud computing environments requires accurate identification of data's "cold" and "hot" states. Traditional methods, such as rule-based algorithms and early AI techniques, often struggle with dynamic workloads, leading to low accuracy, poor adaptability, and high operational overhead. To address these issues, we propose a novel solution based on online learning strategies. Our approach dynamically adapts to changing data access patterns, achieving higher accuracy and lower operational costs. Rigorous testing with both synthetic and real-world datasets demonstrates a significant improvement, achieving a 90% accuracy rate in hot-cold classification. Additionally, the computational and storage overheads are considerably reduced.
• Abstract（参考訳）: ビッグデータとクラウドコンピューティング環境におけるストレージリソースの効率的な管理には、データの"コールド"と"ホット"状態の正確な識別が必要である。 ルールベースのアルゴリズムや初期のAI技術といった従来の手法は、しばしば動的ワークロードと競合し、低い精度、低い適応性、高い運用オーバーヘッドをもたらす。 これらの課題に対処するために,オンライン学習戦略に基づく新しいソリューションを提案する。 当社のアプローチはデータアクセスパターンの変更に動的に対応し,精度の向上と運用コストの低減を実現します。 合成と実世界の両方のデータセットによる厳密なテストは、ホットコールド分類において90%の精度で達成され、大幅な改善を示す。 さらに、計算とストレージのオーバーヘッドは大幅に削減される。

関連論文リスト

• A Scalable Approach to Covariate and Concept Drift Management via Adaptive Data Segmentation [0.562479170374811]
  多くの現実世界のアプリケーションでは、継続的機械学習(ML)システムは不可欠だが、データドリフトが困難である。 伝統的なドリフト適応法は典型的にはアンサンブル技術を用いてモデルを更新し、しばしばドリフトされた歴史データを破棄する。 ドリフトしたデータをモデルトレーニングプロセスに明示的に組み込むことは、モデルの精度と堅牢性を大幅に向上させる、と我々は主張する。
  論文  参考訳（メタデータ） (2024-11-23T17:35:23Z)
• Towards using Reinforcement Learning for Scaling and Data Replication in Cloud Systems [0.49157446832511503]
  強化学習はクラウドコンピューティングに関連する多くの領域で使われており、自動データレプリケーション戦略を得るための有望な分野である。 本研究では、強化学習(RL)に基づくデータ複製戦略とデータスケーリングについて調査する。
  論文  参考訳（メタデータ） (2024-10-07T11:32:35Z)
• Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer Level Attack and Knowledge Distillation [21.587358050012032]
  本稿では,階層攻撃アンラーニング(Layer attack unlearning)と呼ばれる,高速で斬新な機械学習パラダイムを提案する。 そこで本研究では, 試料を効率よく検出する部分PGDアルゴリズムを提案する。 また,教師から意思決定境界を確実に学習するために知識蒸留(KD)も活用する。
  論文  参考訳（メタデータ） (2023-12-28T04:38:06Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Segmentation-guided Domain Adaptation for Efficient Depth Completion [3.441021278275805]
  本稿では,vgg05型CNNアーキテクチャと半教師付きドメイン適応手法に基づく効率的な深度補完モデルを提案する。 空間的コヒーレンスを高めるため,情報ソースとしてセグメンテーションを用いた学習プロセスを導出する。 提案手法は,計算フットプリントを著しく低くしながら,従来手法の効率的かつ低パラメータ状態を改善する。
  論文  参考訳（メタデータ） (2022-10-14T13:01:25Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。