論文の概要: Using Data Redundancy Techniques to Detect and Correct Errors in Logical Data

• arxiv url: http://arxiv.org/abs/2503.15881v1
• Date: Thu, 20 Mar 2025 06:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 22:26:38.207637
• Title: Using Data Redundancy Techniques to Detect and Correct Errors in Logical Data
• Title（参考訳）: 論理データの誤り検出と修正にデータ冗長技術を用いる
• Authors: Ahmed Sharuvan, Ahmed Naufal Abdul Hadee,
• Abstract要約: 本稿では,ディスクアレイを用いたRAID方式について検討し,論理データに適用する。 我々は,少数の冗長データのみを用いて,大規模なアーカイブファイルの任意の障害を復元する上で,堅牢な性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Data redundancy techniques have been tested in several different applications to provide fault tolerance and performance gains. The use of these techniques is mostly seen at the hardware, device driver, or file system level. In practice, the use of data integrity techniques with logical data has largely been limited to verifying the integrity of transferred files using cryptographic hashes. In this paper, we study the RAID scheme used with disk arrays and adapt it for use with logical data. An implementation for such a system is devised in theory and implemented in software, providing the specifications for the procedures and file formats used. Rigorous experimentation is conducted to test the effectiveness of the developed system for multiple use cases. With computer-generated benchmarks and simulated experiments, the system demonstrates robust performance in recovering arbitrary faults in large archive files only using a small fraction of redundant data. This was achieved by leveraging computing power for the process of data recovery.
• Abstract（参考訳）: データ冗長性技術は、フォールトトレランスとパフォーマンス向上を提供するために、いくつかの異なるアプリケーションでテストされている。 これらのテクニックの使用は主に、ハードウェア、デバイスドライバ、ファイルシステムのレベルで見られる。 実際、論理データを用いたデータ整合性技術の使用は、暗号ハッシュを用いた転送ファイルの整合性検証に限られている。 本稿では,ディスクアレイを用いたRAID方式について検討し,論理データに適用する。 このようなシステムの実装は理論的に考案され、ソフトウェアで実装され、使用するプロシージャやファイルフォーマットの仕様を提供する。 複数のユースケースに対して, 開発システムの有効性を検証するために, 厳密な実験を行った。 コンピュータが生成したベンチマークとシミュレーション実験により、このシステムは、少数の冗長データのみを使用して、大規模なアーカイブファイルの任意の障害を復元する堅牢な性能を示す。 これは、データリカバリのプロセスにコンピューティングパワーを活用することで達成された。

関連論文リスト

• Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity [55.03958223190181]
  本稿では,データ類似性の下での非バイアス圧縮とバイアス圧縮を利用した,理論上初めての高速化アルゴリズムを提案する。 我々の結果は、異なる平均損失とデータセットに関する実験によって記録され、確認されています。
  論文  参考訳（メタデータ） (2024-12-21T00:40:58Z)
• Ensemble Method for System Failure Detection Using Large-Scale Telemetry Data [0.0]
  本研究では,システム故障検出のためのアンサンブル手法を提案する。 提案手法では,Long Short-Term Memory (LSTM) ネットワーク,アイソレーションフォレスト,ワンクラスサポートベクターマシン (OCSVM) ,ローカル・オブリアー因子 (LOF) など,多様なアルゴリズムを統合する。 実験により,本モデルの顕著な有効性を示し,システム障害の同定に顕著な検出率を達成した。
  論文  参考訳（メタデータ） (2024-06-07T06:35:17Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Large-scale End-of-Life Prediction of Hard Disks in Distributed Datacenters [0.0]
  高度に歪んだ健康統計データを用いて大規模予測分析を行う。 本稿では、健康統計系列の理解から得られたコンテキストが、ディスクが失敗する可能性のある数日の出力シーケンスを予測するのに役立つエンコーダ・デコーダLSTMモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-15T21:55:07Z)
• Block size estimation for data partitioning in HPC applications using machine learning techniques [38.063905789566746]
  本稿では,ブロックサイズ推定のためのBLEST-ML(BLock size ESTimation through Machine Learning)手法について述べる。 提案手法は分散コンピューティングライブラリであるdislibに適した実装を設計することで評価された。 その結果、BLEST-MLが与えられたデータセットを分割する適切な方法を効率的に決定できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T23:04:14Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• Using Convolutional Neural Networks to Detect Compression Algorithms [0.0]
  ベースデータセットを使用し、さまざまなアルゴリズムですべてのファイルを圧縮し、それに基づいてモデルを設計します。 使用されるモデルは、圧縮、lzip、bzip2を使用して圧縮されたファイルを正確に識別することができた。
  論文  参考訳（メタデータ） (2021-11-17T11:03:16Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Online detection of failures generated by storage simulator [2.3859858429583665]
  現代のストレージインフラストラクチャの動作をシミュレートするためのGoベースの(golang)パッケージを作成します。 パッケージの柔軟な構造により、多数のコンポーネントを持つ現実世界のストレージシステムのモデルを作成することができます。 シミュレータが生成した時系列分布の故障を検出するため,オンラインモードで動作する変更点検出アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2021-01-18T14:56:53Z)
• Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data [93.76907759950608]
  本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。 本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T05:46:56Z)
• Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
  クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。 データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。 ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
  論文  参考訳（メタデータ） (2020-05-23T20:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。