論文の概要: Creating SquashFS Images to Support HPC and AI Datasets

• arxiv url: http://arxiv.org/abs/2610.20578v1
• Date: Wed, 14 Oct 2026 17:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.290341
• Title: Creating SquashFS Images to Support HPC and AI Datasets
• Title（参考訳）: HPCとAIデータセットをサポートするSquashFSイメージの作成
• Abstract要約: HPCユーザは分析と処理のために、しばしばHPCシステム上でデータセットをダウンロードする。 これらのデータセットが数十万(あるいはそれ以上)の小さなファイルで構成されている場合、それらを並列にアクセスすることは、中央並列ファイルシステムのメタデータサーバに多大な負担をかける可能性がある。 本稿では、これらのベンチマーク結果を共有し、SquashFS画像作成に最適なHPCシステムユーザに推奨する。
• 参考スコア（独自算出の注目度）: 1.8038298502399954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: HPC users often download datasets on HPC systems for analysis and processing. When these datasets are comprised of hundreds of thousands (or more) of small files, accessing them in parallel can put a tremendous burden on the metadata servers of central parallel file systems. If the dataset is read-only, an effective solution is to compress the dataset into a SquashFS image. There are, however, a number of workflows that can be used to create such a dataset image, and we observed that some were more efficient than others. To provide more effective guidance for our userbase, we benchmarked eleven different workflows for creating SquashFS dataset image files of datasets with thousands to millions of very small files. We took into account whether the data arrived as tar.gz, zip, or files-and-directories downloads, whether the image creation was on the central file system or local compute node storage, and the number of SquashFS file compression threads used. This paper shares the results of these benchmarks and provides recommendations to HPC system users toward the best workflows to use for SquashFS image creation.
• Abstract（参考訳）: HPCユーザは分析と処理のために、しばしばHPCシステム上でデータセットをダウンロードする。 これらのデータセットが数十万(あるいはそれ以上)の小さなファイルで構成されている場合、それらを並列にアクセスすることは、中央並列ファイルシステムのメタデータサーバに多大な負担をかける可能性がある。 データセットが読み取り専用であれば、データセットをSquashFSイメージに圧縮することが効果的な方法だ。 しかし、このようなデータセット画像を作成するのに使えるワークフローはたくさんあります。 ユーザベースに対してより効果的なガイダンスを提供するため、データセットのSquashFSデータセットイメージファイルを数千から数百万の非常に小さなファイルで作成するための11のワークフローをベンチマークしました。 我々は、データがtar.gz、zip、ファイル・アンド・ダイレクトとしてダウンロードされたかどうか、画像生成が中央ファイルシステムかローカルの計算ノードストレージにあるか、使用したSquashFSファイル圧縮スレッドの数を考慮して検討した。 本稿では、これらのベンチマーク結果を共有し、SquashFSイメージ作成に最適なワークフローに向けて、HPCシステムユーザーに推奨する。

関連論文リスト

• Dataset Color Quantization: A Training-Oriented Framework for Dataset-Level Compression [56.02211851256951]
  モデルトレーニングに不可欠な情報を保存しながら、色空間の冗長性を低減し、視覚データセットを圧縮する統合フレームワークを提案する。 CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet-1Kでの実験では、DCQは攻撃的な圧縮下でのトレーニング性能を著しく改善している。
  論文  参考訳（メタデータ） (2026-02-24T07:53:58Z)
• GBSK: Skeleton Clustering via Granular-ball Computing and Multi-Sampling for Large-Scale Data [62.363178614776295]
  本稿では,大規模データセットのクラスタリング処理を行うために,GBSKというスケーラブルなスケルトンクラスタリングアルゴリズムを提案する。 データセットのマルチサンプリングと多粒度グラニュラーボールの構築により、GBSKは徐々に統計的「骨格」を発見 さらに,ユーザビリティの向上と現実シナリオへの展開を容易にするため,パラメータ設定を簡略化した適応型AGBSKを導入する。
  論文  参考訳（メタデータ） (2025-09-28T08:41:15Z)
• Curriculum Coarse-to-Fine Selection for High-IPC Dataset Distillation [67.34754791044242]
  効率的な高IPCデータセット蒸留のための新しいカリキュラム粗粒抽出法(CCFS)を提案する。 CCFSは、各カリキュラムの現在の合成データセットに基づいて、適切な実データを選択するために粗い戦略を採用している。
  論文  参考訳（メタデータ） (2025-03-24T16:47:40Z)
• Evaluating Fault Tolerance and Scalability in Distributed File Systems: A Case Study of GFS, HDFS, and MinIO [0.9307293959047378]
  分散ファイルシステム(DFS)は、スケーラビリティ、フォールトトレランス、データアクセシビリティのメリットを提供する、複数のサーバにわたる巨大なデータセットを管理するために不可欠である。 本稿では、Google File System(GFS)、Hadoop Distributed File System(HDFS)、MinIOの3つのDFSを総合的に評価する。 詳細な分析を通じて、これらのシステムがデータの冗長性、サーバ障害、クライアントアクセスプロトコルをどのように扱うか、動的で大規模環境における信頼性を確実に評価する。
  論文  参考訳（メタデータ） (2025-02-04T03:52:45Z)
• Performance Evaluation of Geospatial Images based on Zarr and Tiff [0.0]
  これにより、ZarrとTIFFの2つの異なるデータストレージフォーマットを用いて、地理空間画像処理の性能を評価する。 従来のタグ付きイメージファイルフォーマットは、シンプルで互換性があるが、大規模なデータセットで作業する際のパフォーマンス制限が欠けているため、主に使用されている。 Zarは、データチャンキングと圧縮技術を備えたスケーラビリティと効率的なストレージを提供する、クラウドシステム用に設計された新しいフォーマットである。
  論文  参考訳（メタデータ） (2024-11-18T05:34:31Z)
• PatchSVD: A Non-uniform SVD-based Image Compression Algorithm [20.856903918492154]
  そこで本研究では,Singular Value Decomposition (SVD) アルゴリズムに基づいて,PatchSVDと呼ばれる領域ベースの損失画像圧縮手法を提案する。 PatchSVDは,3つの画像圧縮指標に対して,SVDに基づく画像圧縮よりも優れることを示す。
  論文  参考訳（メタデータ） (2024-06-07T17:57:40Z)
• Leveraging Hierarchical Feature Sharing for Efficient Dataset Condensation [38.59750970617013]
  階層型メモリネットワーク(HMN)という新しいデータパラメータ化アーキテクチャを提案する。 HMNは、凝縮したデータを3層構造に格納し、データセットレベル、クラスレベル、インスタンスレベルの特徴を表現する。 5つの公開データセット上でHMNを評価し,提案手法がすべてのベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-11T14:02:11Z)
• SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage [52.317406324182215]
  大規模データセットに対する視覚分類器の記憶効率向上のための学習手法を提案する。 私たちのトークンストレージは、JPEG圧縮されたオリジナルの生ピクセルの1%しか必要としない。 ImageNet-1kによる実験結果から,本手法は,他のストレージ効率のトレーニング手法よりも大幅に優れており,大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2023-03-20T13:55:35Z)
• Raw Image Reconstruction with Learned Compact Metadata [61.62454853089346]
  本稿では,メタデータとしての潜在空間におけるコンパクトな表現をエンドツーエンドで学習するための新しいフレームワークを提案する。 提案する生画像圧縮方式は,グローバルな視点から重要な画像領域に適応的により多くのビットを割り当てることができることを示す。
  論文  参考訳（メタデータ） (2023-02-25T05:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。