論文の概要: GetBatch: Distributed Multi-Object Retrieval for ML Data Loading

• arxiv url: http://arxiv.org/abs/2602.22434v1
• Date: Wed, 25 Feb 2026 21:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.424639
• Title: GetBatch: Distributed Multi-Object Retrieval for ML Data Loading
• Title（参考訳）: GetBatch:MLデータローディングのための分散マルチオブジェクト検索
• Authors: Alex Aizman, Abhishek Gaikwad, Piotr Żelasko,
• Abstract要約: GetBatchは、バッチ検索をファーストクラスのストレージ操作に高める新しいオブジェクトストアAPIである。 GetBatchは、小さなオブジェクトに対して最大15倍のスループット向上を実現している。 運用トレーニングのワークロードでは、GetBatchはP95バッチの検索遅延を2倍、オブジェクトごとのテールレイテンシを3.7倍削減する。
• 参考スコア（独自算出の注目度）: 0.18923686042145282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning training pipelines consume data in batches. A single training step may require thousands of samples drawn from shards distributed across a storage cluster. Issuing thousands of individual GET requests incurs per-request overhead that often dominates data transfer time. To solve this problem, we introduce GetBatch - a new object store API that elevates batch retrieval to a first-class storage operation, replacing independent GET operations with a single deterministic, fault-tolerant streaming execution. GetBatch achieves up to 15x throughput improvement for small objects and, in a production training workload, reduces P95 batch retrieval latency by 2x and P99 per-object tail latency by 3.7x compared to individual GET requests.
• Abstract（参考訳）: 機械学習トレーニングパイプラインは、バッチでデータを消費する。 単一のトレーニングステップでは、ストレージクラスタに分散したシャードから引き出された数千のサンプルが必要になる可能性がある。 数千の個々のGETリクエストを発行すると、要求毎のオーバーヘッドが発生し、しばしばデータ転送時間を支配します。 この問題を解決するために、GetBatch - バッチ検索をファーストクラスのストレージ操作に高める新しいオブジェクトストアAPIを導入し、独立したGET操作を単一決定論的でフォールトトレラントなストリーミング実行に置き換える。 GetBatchは、小さなオブジェクトに対して最大15倍のスループット向上を実現し、本番のトレーニングワークロードでは、P95バッチの検索遅延を2倍、オブジェクトごとのテール遅延を3.7倍削減する。

関連論文リスト

• Predictive Modeling of I/O Performance for Machine Learning Training Pipelines: A Data-Driven Approach to Storage Optimization [0.0]
  現代の機械学習トレーニングは、計算よりもデータI/Oによってますますボトルネックになっている。 本稿では,機械学習によるI/O性能の予測と,MLトレーニングパイプラインのための最適なストレージ構成を提案する。
  論文  参考訳（メタデータ） (2025-12-07T07:25:08Z)
• ReasonIR: Training Retrievers for Reasoning Tasks [139.54343970560103]
  ReasonIR-8Bは一般的な推論タスクのために特別に訓練された最初のレトリバーである。 新たに29.9 nDCG@10をリランカなしで、36.9 nDCG@10をリランカで達成している。
  論文  参考訳（メタデータ） (2025-04-29T09:49:28Z)
• TreeHop: Generate and Filter Next Query Embeddings Efficiently for Multi-hop Question Answering [27.37434534716611]
  TreeHopはマルチホップ質問応答のための埋め込みレベルのフレームワークである。 TreeHopはクエリの埋め込みを動的に更新する。 TreeHopは、知識集約型アプリケーションにデプロイするための、より速く、よりコスト効率の良いソリューションです。
  論文  参考訳（メタデータ） (2025-04-28T01:56:31Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• Multi-Bin Batching for Increasing LLM Inference Throughput [19.652542432683234]
  大規模言語モデル(LL)は、システムの効率性を向上させるために人気が高まっている。 リクエストはサーバ上のジョブをスケジューリングする重要なステップです。 リクエストは、しばしば異なる生成長を持ち、リソースの未利用を引き起こす。 我々は、この問題をキューイング理論の観点から形式化し、スループット制御ポリシーを設計することを目的とする。
  論文  参考訳（メタデータ） (2024-12-03T03:16:12Z)
• Improving Pretraining Data Using Perplexity Correlations [56.41097718862742]
  我々は,LLM学習を必要とせず,高品質な事前学習データを選択するフレームワークを提案する。 我々は,パープレキシティ-ベンチマーク相関の推定を中心に,データ選択のための新しい統計フレームワークを構築した。 提案手法は,DataComp-LMで見つかった最高のデータセレクタをマッチングしながら,各ベンチマークでDSIRより優れている。
  論文  参考訳（メタデータ） (2024-09-09T17:23:29Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。