論文の概要: Efficient Iterative Retrieval with Heterogeneous Batching

• arxiv url: http://arxiv.org/abs/2609.25405v1
• Date: Mon, 21 Sep 2026 20:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.116012
• Title: Efficient Iterative Retrieval with Heterogeneous Batching
• Title（参考訳）: 不均一バッチによる効率的な反復検索
• Abstract要約: 本稿では,統一推論ループ内で異種クエリを実行するサービスシステムOrthrusを提案する。 我々はOrthrusが、制御されたワークロードで1.28$times$4.52$times$スループットを達成し、反復RAGベンチマークで最大5.8%のエンドエンドp99レイテンシを達成したことを示す。
• 参考スコア（独自算出の注目度）: 5.10072982044534
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern information retrieval increasingly employs both embedding and generative models to handle complex queries. However, current serving systems suffer from low throughput and poor GPU utilization because they execute these models in isolation. Coarse-grained partitioning, such as dedicating GPUs to specific tasks, fails to adapt to dynamic workloads and creates computational "bubbles". To address these, we present Orthrus, a serving system that performs heterogeneous batching within a unified inference loop. The primary challenge lies in unifying embedding and generation workloads with conflicting computational patterns while optimizing batch composition for high performance. Orthrus addresses these challenges through chunked embedding with incremental pooling and by adjusting batch composition in a workload-aware manner. Evaluation on four A100 GPUs shows that, relative to baseline deployments, Orthrus achieves 1.28$\times$--4.52$\times$ higher throughput on controlled workloads and up to 55.8% lower end-to-end p99 latency on an iterative-RAG benchmark. We release our code at https://github.com/illinoisdata/Orthrus .
• Abstract（参考訳）: 現代の情報検索は、複雑なクエリを扱うために、埋め込みモデルと生成モデルの両方をますます採用している。 しかしながら、現在のサービスシステムは、これらのモデルを分離して実行するため、スループットが低く、GPU利用の低さに悩まされている。 特定のタスクにGPUを集中させるような粗粒度のパーティショニングは、動的ワークロードへの適応に失敗し、計算的な“バブル”を生成する。 これらの問題に対処するために,統一推論ループ内で異種バッチ処理を行うサービスシステムOrthrusを提案する。 主な課題は、組み込みワークロードと生成ワークロードを、競合する計算パターンで統一し、高いパフォーマンスのためにバッチ合成を最適化することである。 Orthrusは、インクリメンタルプールによるチャンク埋め込みと、ワークロードを意識したバッチ構成の調整を通じて、これらの課題に対処する。 4つのA100 GPUの評価によると、Orthrusはベースラインデプロイメントと比較して、制御されたワークロードで1.28$\times$-4.52$\times$高いスループット、反復RAGベンチマークで最大55.8%のエンドツーエンドのp99レイテンシを達成した。 コードについてはhttps://github.com/illinoisdata/Orthrus で公開しています。

関連論文リスト

• Are LLM-Generated GPU Kernels Production-Ready? A Trace-Driven Benchmark and Optimization Agent [10.241408048987038]
  既存のGPUカーネル生成ベンチマークは、デプロイされたワークロードから分岐する合成またはキュレートされたソースから問題を引き出す。 Atrex-Benchは、30の演算子と440の形状が、計算限定のメモリリッチGPUのフルクラスタ生産推定トレースから直接サンプリングされるベンチマークである。
  論文  参考訳（メタデータ） (2026-07-16T03:49:50Z)
• BatchGen: An Architecture for Scalable and Efficient Batch Inference [7.794394498151309]
  バッチ推論はAI計算の中心的なモードとなっているが、既存の推論エンジンはまだインタラクティブなサービス用に設計された実行モデルに依存している。 バッチ推論のための新しいアーキテクチャ基盤であるシーケンス計算モデルを導入し、各シーケンスをきめ細かなイベント駆動シーケンスとして表現する。 このモデルは、ランタイムが動的に作業を再編成できるように表現力豊かなプリミティブを公開し、より大きなエキスパートレベルのバッチを可能にし、ストラグラーを緩和し、デバイス間での実際の作業を可能にし、コスト効率やメモリ制約のあるGPU上でも利用を維持する。
  論文  参考訳（メタデータ） (2026-06-19T19:56:21Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
  この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。 我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。 提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
  論文  参考訳（メタデータ） (2025-05-28T20:43:10Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Providing Meaningful Data Summarizations Using Examplar-based Clustering in Industry 4.0 [67.80123919697971]
  我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。 提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-05-25T15:55:14Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
  GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。 本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
  論文  参考訳（メタデータ） (2020-11-03T18:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。