論文の概要: Evaluating Fault Tolerance and Scalability in Distributed File Systems: A Case Study of GFS, HDFS, and MinIO

• arxiv url: http://arxiv.org/abs/2502.01981v2
• Date: Fri, 28 Feb 2025 20:52:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 15:02:13.648256
• Title: Evaluating Fault Tolerance and Scalability in Distributed File Systems: A Case Study of GFS, HDFS, and MinIO
• Title（参考訳）: 分散ファイルシステムにおけるフォールトトレランスとスケーラビリティの評価: GFS, HDFS, MinIOを事例として
• Authors: Shubham Malhotra, Fnu Yashu, Muhammad Saqib, Dipkumar Mehta, Jagdish Jangid, Sachin Dixit,
• Abstract要約: 分散ファイルシステム(DFS)は、スケーラビリティ、フォールトトレランス、データアクセシビリティのメリットを提供する、複数のサーバにわたる巨大なデータセットを管理するために不可欠である。 本稿では、Google File System(GFS)、Hadoop Distributed File System(HDFS)、MinIOの3つのDFSを総合的に評価する。 詳細な分析を通じて、これらのシステムがデータの冗長性、サーバ障害、クライアントアクセスプロトコルをどのように扱うか、動的で大規模環境における信頼性を確実に評価する。
• 参考スコア（独自算出の注目度）: 0.9307293959047378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed File Systems (DFS) are essential for managing vast datasets across multiple servers, offering benefits in scalability, fault tolerance, and data accessibility. This paper presents a comprehensive evaluation of three prominent DFSs - Google File System (GFS), Hadoop Distributed File System (HDFS), and MinIO - focusing on their fault tolerance mechanisms and scalability under varying data loads and client demands. Through detailed analysis, how these systems handle data redundancy, server failures, and client access protocols, ensuring reliability in dynamic, large-scale environments is assessed. In addition, the impact of system design on performance, particularly in distributed cloud and computing architectures is assessed. By comparing the strengths and limitations of each DFS, the paper provides practical insights for selecting the most appropriate system for different enterprise needs, from high availability storage to big data analytics.
• Abstract（参考訳）: 分散ファイルシステム(DFS)は、スケーラビリティ、フォールトトレランス、データアクセシビリティのメリットを提供する、複数のサーバにわたる巨大なデータセットを管理するために不可欠である。 本稿では,Google File System(GFS),Hadoop Distributed File System(HDFS),MinIOの3つのDFSを総合的に評価する。 詳細な分析を通じて、これらのシステムがデータの冗長性、サーバ障害、クライアントアクセスプロトコルをどのように扱うか、動的で大規模環境における信頼性を確実に評価する。 さらに,システム設計がパフォーマンス,特に分散クラウドとコンピューティングアーキテクチャに与える影響を評価した。 各DSSの長所と短所を比較することで、高可用性ストレージからビッグデータ分析に至るまで、さまざまな企業ニーズに対して最適なシステムを選択するための実践的な洞察を提供する。

関連論文リスト

• Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
  RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。 複数の多様な実装設計を生成することで、線形パッチから切り離される。 NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
  論文  参考訳（メタデータ） (2026-03-02T12:50:40Z)
• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• One-Shot Hierarchical Federated Clustering [51.490181220883905]
  本稿では,効率的な階層型クラスタリングフレームワークを提案する。 クライアント-エンドの分散探索とサーバ-エンドの分散アグリゲーションを実行する。 クライアント間の複雑なクラスタ分布を効率的に探索できることが判明した。
  論文  参考訳（メタデータ） (2026-01-10T02:58:33Z)
• CapsuleFS A Multi-credential DataCapsule Filesystem [7.588392585790625]
  CapsuleFS(CFS)は、ストレージプロバイダとしてDataCapsuleを利用するPOSIX準拠のフレームワークに、初めてマルチクレジット機能を統合したものだ。 CFSの実験的評価によると、読み書き性能は比較的控えめであるが、高い機能的正しさを保っている。
  論文  参考訳（メタデータ） (2025-12-08T22:02:40Z)
• Elevating Semantic Exploration: A Novel Approach Utilizing Distributed Repositories [0.0]
  本稿では,イタリア司法省向けに開発された分散文書リポジトリシステムについて検討する。 エッジリポジトリを使用してデータとメタデータを分析し、セマンティックな探索機能を強化する。
  論文  参考訳（メタデータ） (2025-05-06T11:30:16Z)
• C-FedRAG: A Confidential Federated Retrieval-Augmented Generation System [7.385458207094507]
  我々は、FedRAG(Federated Retrieval Augmented Generation)をセキュアにするためのソリューションとして、CC(Confidential Computing)技術を紹介する。 提案するConfidential FedRAGシステム(C-FedRAG)は、コンテキスト機密性を確保することにより、分散化されたデータプロバイダのネットワークをまたいだRAGのセキュアな接続とスケーリングを可能にする。
  論文  参考訳（メタデータ） (2024-12-17T18:42:21Z)
• Reproduction Research of FSA-Benchmark [0.0]
  フェールスローディスクは、最終的にフェールする前に徐々にパフォーマンスが低下する。 アウトライトディスクの障害とは異なり、フェールスロー条件は長期にわたって検出されず、システムパフォーマンスとユーザエクスペリエンスに大きな影響を与えます。
  論文  参考訳（メタデータ） (2024-12-12T01:31:11Z)
• G-NAS: Generalizable Neural Architecture Search for Single Domain Generalization Object Detection [55.86838901572496]
  微分可能なニューラルネットワークサーチ(NAS)は、複雑なデータフィッティングの能力が高いことで知られている。 一般化可能な損失(G-loss)は、OoDを意識した目的であり、NASが過度に適合することを防ぐ。 S-DGOD都市景観データセットの実験結果から,提案したG-NASはベースライン法と比較してSOTA性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-02-07T08:57:59Z)
• Towards Learned Predictability of Storage Systems [0.0]
  ストレージシステムは、データセンターの基本的なビルディングブロックになっている。 ストレージの普及と関心にもかかわらず、信頼性のあるストレージシステムの設計と実装は依然として困難である。 ストレージシステムの予測可能性に向けて、近年様々なメカニズムとフィールド研究が提案されている。 3つの代表的な研究成果に基づき、この分野で機械学習をどのように適用すべきかを論じる。
  論文  参考訳（メタデータ） (2023-07-30T17:53:08Z)
• Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach [83.2160310392168]
  本稿では,多数の異種データセット上での自動トラフィック解析と合成を支援するFS-GANを提案する。 FS-GANは複数の分散ジェネレーティブ・アドバイサル・ネットワーク(GAN)から構成される FS-GANは未知のサービスのデータを分類し、未知のタイプのトラフィック分布をキャプチャする合成サンプルを作成する。
  論文  参考訳（メタデータ） (2023-02-01T03:23:11Z)
• Block size estimation for data partitioning in HPC applications using machine learning techniques [38.063905789566746]
  本稿では,ブロックサイズ推定のためのBLEST-ML(BLock size ESTimation through Machine Learning)手法について述べる。 提案手法は分散コンピューティングライブラリであるdislibに適した実装を設計することで評価された。 その結果、BLEST-MLが与えられたデータセットを分割する適切な方法を効率的に決定できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T23:04:14Z)
• MIX-RS: A Multi-indexing System based on HDFS for Remote Sensing Data Storage [21.033380514644616]
  衛星技術の展開により、大量のリモートセンシング(RS)データが生成される。 RSデータの特徴(例:巨大なボリューム、大きな単一ファイルサイズ、フォールトトレランスの要求)は、Hadoop Distributed File System(HDFS)をRSデータストレージの理想的な選択肢にしている。 RSデータを使用するには、地理空間インデックス化が最も重要なテクニックである。 我々は,HDFS上のマルチインデックス機構を統一するMulti-IndeXing-RS (MIX-RS) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-05T05:11:12Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• An Analysis of Distributed Systems Syllabi With a Focus on Performance-Related Topics [65.86247008403002]
  我々は、トップコンピュータサイエンスプログラムから51の現在(2019-2020)の分散システムシラビのデータセットを分析した。 本研究では,DSコースで言及されているインフラの規模を,小規模なクライアントサーバシステムからクラウドスケール,ピアツーピア,グローバルスケールシステムまで検討する。
  論文  参考訳（メタデータ） (2021-03-02T16:49:09Z)
• Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
  クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。 データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。 ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
  論文  参考訳（メタデータ） (2020-05-23T20:57:12Z)
• DataFed: Towards Reproducible Research via Federated Data Management [0.0]
  DataFedは軽量で分散した科学データ管理システムである。 それは、ゆるやかに結合された科学施設のネットワーク内のストレージシステムの連合にまたがる。
  論文  参考訳（メタデータ） (2020-04-07T21:05:22Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。