論文の概要: MLKV: Efficiently Scaling up Large Embedding Model Training with Disk-based Key-Value Storage

• arxiv url: http://arxiv.org/abs/2504.01506v1
• Date: Wed, 02 Apr 2025 08:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:07.900834
• Title: MLKV: Efficiently Scaling up Large Embedding Model Training with Disk-based Key-Value Storage
• Title（参考訳）: MLKV: ディスクベースのキーバリューストレージによる大規模な埋め込みモデルのトレーニングを効果的にスケールアップする
• Authors: Yongjun He, Roger Waleffe, Zhichao Han, Johnu George, Binhang Yuan, Zitao Zhang, Yinan Shan, Yang Zhao, Debojyoti Dutta, Theodoros Rekatsinas, Ce Zhang,
• Abstract要約: 本稿では,MLKVを提案する。MLKVは,組込みモデルトレーニングにおけるスケーラビリティの課題に対処するために設計された,効率的で再利用可能なデータストレージフレームワークである。 オープンソースのワークロードの実験では、MLKVは、産業的な強度を持つキーバリューストア上に構築されたオフロード戦略を1.6-12.6倍上回っている。
• 参考スコア（独自算出の注目度）: 22.848456481878568
• License:
• Abstract: Many modern machine learning (ML) methods rely on embedding models to learn vector representations (embeddings) for a set of entities (embedding tables). As increasingly diverse ML applications utilize embedding models and embedding tables continue to grow in size and number, there has been a surge in the ad-hoc development of specialized frameworks targeted to train large embedding models for specific tasks. Although the scalability issues that arise in different embedding model training tasks are similar, each of these frameworks independently reinvents and customizes storage components for specific tasks, leading to substantial duplicated engineering efforts in both development and deployment. This paper presents MLKV, an efficient, extensible, and reusable data storage framework designed to address the scalability challenges in embedding model training, specifically data stall and staleness. MLKV augments disk-based key-value storage by democratizing optimizations that were previously exclusive to individual specialized frameworks and provides easy-to-use interfaces for embedding model training tasks. Extensive experiments on open-source workloads, as well as applications in eBay's payment transaction risk detection and seller payment risk detection, show that MLKV outperforms offloading strategies built on top of industrial-strength key-value stores by 1.6-12.6x. MLKV is open-source at https://github.com/llm-db/MLKV.
• Abstract（参考訳）: 現代の機械学習(ML)メソッドの多くは、一連のエンティティ(テーブル)のベクトル表現(埋め込み)を学ぶための埋め込みモデルに依存している。 多様なMLアプリケーションは、埋め込みモデルを利用し、埋め込みテーブルのサイズと数が増え続けているため、特定のタスクのために大規模な埋め込みモデルをトレーニングすることを目的とした、特別なフレームワークのアドホックな開発が急増している。 異なる埋め込みモデルトレーニングタスクで発生するスケーラビリティの問題は類似しているが、これらのフレームワークはそれぞれ独立して、特定のタスクのためにストレージコンポーネントを再発明し、カスタマイズする。 本稿では,MLKVを提案する。MLKVは,モデルトレーニングの組込みにおけるスケーラビリティ,特にデータストールとスタルネスの課題に対処するために設計された,効率的で拡張性があり,再利用可能なデータストレージフレームワークである。 MLKVは、これまで特定のフレームワークに限定されていた最適化を民主化することで、ディスクベースのキーバリューストレージを強化し、モデルのトレーニングタスクを組み込むための使いやすいインターフェースを提供する。 オープンソースワークロードとeBayの支払いトランザクションリスク検出および売り手支払いリスク検出のアプリケーションに関する広範な実験は、MLKVが産業的な強度を持つキーバリューストア上に構築されたオフロード戦略を1.6-12.6倍上回っていることを示している。 MLKVはhttps://github.com/llm-db/MLKVでオープンソース化されている。

関連論文リスト

• 1bit-Merging: Dynamic Quantized Merging for Large Language Models [20.19975755949984]
  texttt1bit-Mergingは、タスク固有のルーティングと1ビットの量子化されたタスクベクトルを統合し、パフォーマンスとストレージ効率のバランスをとる新しいフレームワークである。 我々は,texttt1bit-Mergingが既存のメソッドと同等あるいは優れた性能を実現し,ストレージ要求を大幅に削減できることを実証した。
  論文  参考訳（メタデータ） (2025-02-15T09:47:50Z)
• MoD: A Distribution-Based Approach for Merging Large Language Models [0.0]
  大規模言語モデル(LLM)は、多くの専門的なタスク固有の変種の開発を可能にした。 LLMをマージするための新しいアプローチであるTextitMixture of Distributions (MoD)フレームワークを提案する。 従来の重量測定法とは異なり、MoDは個々のモデルの特殊能力を効果的に保存する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:29Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• xGen-MM (BLIP-3): A Family of Open Large Multimodal Models [157.44696790158784]
  本稿では,LMM(Large Multimodal Models)を開発するためのフレームワークであるxGen-MMを紹介する。 このフレームワークは、慎重にキュレートされたデータセット、トレーニングレシピ、モデルアーキテクチャ、結果のLMMスイートで構成されている。 私たちのモデルは、シングルイメージとマルチイメージのベンチマークを含む、さまざまなタスクにわたって厳格な評価を受けています。
  論文  参考訳（メタデータ） (2024-08-16T17:57:01Z)
• SWIFT:A Scalable lightWeight Infrastructure for Fine-Tuning [4.173156963843178]
  Large Language Models (LLM) と Multi-modal Large Language Models (MLLM) は、注意に基づくトランスフォーマーアーキテクチャを利用している。 SWIFTは、大型モデルのためのカスタマイズ可能なワンストップインフラストラクチャである。 SWIFTでカスタマイズされたデータセットをトレーニングすることで、ToolBenchのリーダボードに注目すべき改善が達成できることを示す。
  論文  参考訳（メタデータ） (2024-08-10T11:00:13Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Bullion: A Column Store for Machine Learning [4.096087402737292]
  本稿では,機械学習処理に適した列記憶システムであるBullionについて述べる。 Bundyはデータコンプライアンスの複雑さに対処し、長いシーケンススパース機能のエンコーディングを最適化し、拡張可能なプロジェクションを効率的に管理し、ストレージに機能量子化を導入し、包括的なカスケードエンコーディングフレームワークを提供する。 予備的な実験結果と理論的分析は、機械学習ワークロードのユニークな要求に直面して、Bullionが強力なパフォーマンスを提供する能力が改善されたことを示している。
  論文  参考訳（メタデータ） (2024-04-13T05:01:54Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。