論文の概要: VersaDB: A High-Performance AI Storage Database for Unifying Mutimodal Datasets

• arxiv url: http://arxiv.org/abs/2608.22795v1
• Date: Mon, 24 Aug 2026 04:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.989938
• Title: VersaDB: A High-Performance AI Storage Database for Unifying Mutimodal Datasets
• Title（参考訳）: VersaDB: マルチモーダルデータセットを統合するための高性能AIストレージデータベース
• Abstract要約: さまざまなモダリティを持つAIデータセットに特化して設計されたデータベースであるVersaDBを紹介する。 VersaDBは自動シャーディングをサポートし、階層的なメタデータ管理システムを維持している。 実験の結果,VersaDBは最大5.35倍の高速化を実現し,異なる並列性レベルにわたって一貫した性能を維持することができることがわかった。
• 参考スコア（独自算出の注目度）: 19.228314851830003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The AI field has been rapidly developing, leading to the emergence of a large number of AI training datasets of various types. These datasets contain different modalities, including text, images, audio, etc., and may come in various data storage formats. With the advancement of AI hardware, AI computation units like GPUs, TPUs, and NPUs can greatly accelerate the training speed of AI models, which in turn increases the demand for faster data processing. When using existing AI processing frameworks to handle datasets with different modalities and storage formats, processing speeds may be suboptimal due to issues such as data layout and the way users handle the data. Therefore, using a unified database to store multiple data formats can better manage and optimize data access. In this paper, we introduce VersaDB, a database designed specifically for AI datasets with various modalities. We implemented a page-based storage system, separating structured and unstructured data. Additionally, we generated B+ tree-based index files to accelerate data access. VersaDB supports automatic sharding and maintains a hierarchical metadata management system, with corresponding metadata maintained at the page, shard, and global levels, forming the foundation for the efficient operation of the database. We also focused on ease of use by providing APIs for directly converting datasets into VersaDB, as well as APIs for converting popular AI data storage formats (e.g., CSV, TFRecord, .bin) into VersaDB.Our experiments show that using VersaDB can achieve up to 5.35x acceleration and maintain consistent performance across different parallelism levels.
• Abstract（参考訳）: AI分野は急速に発展しており、さまざまなタイプのAIトレーニングデータセットが多数出現している。 これらのデータセットには、テキスト、画像、オーディオなど、さまざまなモダリティが含まれており、さまざまなデータストレージフォーマットに含まれる可能性がある。 AIハードウェアの進歩により、GPU、TPU、NPUといったAI計算ユニットはAIモデルのトレーニング速度を大幅に加速し、高速なデータ処理の需要が増大する。 既存のAI処理フレームワークを使用して、さまざまなモダリティとストレージフォーマットのデータセットを処理する場合、データレイアウトやユーザがデータを処理する方法といった問題により、処理速度がサブ最適化される可能性がある。 したがって、複数のデータフォーマットを格納するために統合データベースを使用することで、データアクセスをよりよく管理し、最適化することができる。 本稿では,様々なモダリティを持つAIデータセットに特化して設計されたデータベースであるVersaDBを紹介する。 我々は、構造化データと非構造化データを分離したページベースのストレージシステムを実装した。 さらに、データアクセスを高速化するために、B+ツリーベースのインデックスファイルを生成しました。 VersaDBは自動シャーディングをサポートし、ページ、シャード、グローバルレベルで対応するメタデータを保持する階層的なメタデータ管理システムを維持し、データベースの効率的な運用の基礎を形成します。 また、データセットを直接VersaDBに変換するAPIや、一般的なAIデータストレージフォーマット(例えば、CSV、TFRecord、.bin)をVersaDBに変換するAPIを提供することによる使いやすさにも重点を置いています。

関連論文リスト

• DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving [55.85201665674226]
  大規模言語モデル(LLM)には高品質なトレーニングデータが不可欠である 既存の自動データ準備手法は、事前に定義されたパイプラインやカスタマイズされた人間の指示に依存している。 我々は、パイプラインを自動的に構築して、生データを高品質なデータに変換する、最初の自己進化型データ準備システムであるDataEvolverを紹介する。
  論文  参考訳（メタデータ） (2026-06-05T07:44:34Z)
• DataMaster: Data-Centric Autonomous AI Research [51.95819363392062]
  タスク条件付き自律データエンジニアリングについて検討し、エージェントがデータ側のみを最適化することで、固定学習アルゴリズムを改善する。 木構造検索,共有候補データ,累積メモリを統合したデータエージェントフレームワークであるDataMasterを提案する。 MLE-Bench LiteとPostTrainBenchの2種類のベンチマークでDataMasterを評価する。
  論文  参考訳（メタデータ） (2026-05-11T17:46:24Z)
• ARCADE: A Real-Time Data System for Hybrid and Continuous Query Processing across Diverse Data Modalities [13.257158630199953]
  ARCADEはリアルタイムデータシステムであり、多様なデータタイプにわたる表現豊かなハイブリッドおよび連続的なクエリ処理をサポートする。 RocksDBによるオープンソースのストレージシステム上に構築されたARCADEは、リードヘビーで最大7.4倍、ライトヘビーなワークロードで1.4倍の性能を持つ。
  論文  参考訳（メタデータ） (2025-09-24T04:26:25Z)
• VerilogDB: The Largest, Highest-Quality Dataset with a Preprocessing Framework for LLM-based RTL Generation [1.0798445660490976]
  大規模言語モデル(LLM)は、特にレジスタ転送レベル(RTL)コード生成を通じて、ハードウェア設計自動化において人気が高まっている。 データベース(DB)の作成と管理を含む3段階の自動化プロセスを通じて,ロバストなVerilogデータセットを構築した。 得られたデータセットは、20,392のVerilogサンプルと751MBのVerilogコードデータからなる。
  論文  参考訳（メタデータ） (2025-07-09T17:06:54Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [83.65386456026441]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがる100以上のデータ処理オペレータがバックアップするデータ処理システムである。 データ分析、合成、アノテーション、基礎モデルのポストトレーニングなど、より重要なタスクをサポートする。 このシステムは公開されており、さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• OpenDataLab: Empowering General Artificial Intelligence with Open Datasets [53.22840149601411]
  本稿では,多様なデータソース間のギャップと統一データ処理の必要性を埋めるプラットフォームであるOpenDataLabを紹介する。 OpenDataLabは、幅広いオープンソースのAIデータセットを統合し、インテリジェントクエリと高速ダウンロードサービスを通じて、データ取得効率を向上させる。 我々は,OpenDataLabが人工知能(AGI)の研究を大幅に促進し,関連するAI分野の進歩を促進することを期待する。
  論文  参考訳（メタデータ） (2024-06-04T10:42:01Z)
• Alto: Orchestrating Distributed Compound AI Systems with Nested Ancestry [18.671852079446605]
  複合AIアプリケーションは、生成言語モデル、ドキュメントレトリバー、埋め込みモデルなどのサブコンポーネントをチェーンする。 複合AIシステムにおける並列性やパイプライン化といった従来のシステム最適化の適用は、各コンポーネントに異なる制約があるため、難しい。 本稿では,ストリーミングと並列処理による複合AIクエリの自動実行を最適化するフレームワークAltoを紹介する。
  論文  参考訳（メタデータ） (2024-03-07T08:30:26Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Towards a Generic Multimodal Architecture for Batch and Streaming Big Data Integration [0.0]
  本稿では,バッチ処理とストリーミング処理を組み合わせた汎用マルチモーダルアーキテクチャを提案する。 我々のアーキテクチャはバッチ処理を用いてデータ構造と内容を分析し、学習モデルを構築し、信頼性指数を計算する。 渋滞を検出するため,都市交通管理システムの文脈でアーキテクチャを検証した。
  論文  参考訳（メタデータ） (2021-08-09T20:50:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。