論文の概要: Local Inference of LLMs on Long Contexts: A Data Systems Perspective
- arxiv url: http://arxiv.org/abs/2610.28223v1
- Date: Tue, 20 Oct 2026 13:56:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.838577
- Title: Local Inference of LLMs on Long Contexts: A Data Systems Perspective
- Title（参考訳）: 長期文脈におけるLLMの局所的推論:データシステムの観点から
- Abstract要約: キャパシティの問題に加えて,単一ユーザを対象とした長期コンテキストモデルの提供を防止するための制限について検討する。
我々の分析は、予想通り、長期コンテキスト推論のランタイムは自己注意が支配的であることを確認した。
評価の結果,現在の自己注意構造は重要なGPUリソースを著しく過小評価していることが明らかとなった。
- 参考スコア（独自算出の注目度）: 2.2129910930772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can solve complex problems across a variety of subjects, such as mathematics and coding. For such complex analytical tasks, models with a long context perform better. Serving models with long context is currently mostly done on powerful systems with multiple GPUs, which are too expensive for most users. An alternative is local inference, or serving a model on a user's own machine, which removes per-token costs and rate limits, besides keeping sensitive data private and giving users full control over the models they run. The common understanding, however, is that local LLMs need compression (e.g., quantization) to run on a single GPU. In this paper, we set out to study the limitations that prevent serving long-context models for single users, besides the capacity issue. Rather than characterizing a single model on one GPU, we analyze how different models behave across several GPU generations. This lets us uncover not just individual bottlenecks but broader trends in where inefficiencies arise. Our analysis confirms that, as expected, self-attention dominates the runtime for long-context inference. More unexpectedly, our evaluation reveals that the current structure of self-attention leaves key GPU resources significantly underutilized, and the newest GPU is often the least well served. Many of these findings are fundamentally data management problems, from paging the KV cache to improving cache utilization and synchronization in the GPU, which is why we bring this study to the Data Systems community. To engage this community, we present our findings as a series of experimental observations and formulate recommendations for future work.
- Abstract（参考訳）: 大規模言語モデルは、数学やコーディングなど、様々な分野にわたる複雑な問題を解くことができる。
このような複雑な分析タスクでは、長いコンテキストを持つモデルはより良く機能する。
長いコンテキストを持つサービングモデルは現在、ほとんどのユーザにとって高価すぎる複数のGPUを持つ強力なシステム上で実行されています。
もうひとつの選択肢は、ローカル推論、あるいは、ユーザ自身のマシンでモデルを提供することだ。これは、機密データをプライベートに保持し、ユーザが実行するモデルを完全にコントロールすることに加えて、トーケン毎のコストとレート制限を取り除くものだ。
しかし、一般的な理解では、ローカルLLMは1つのGPUで実行するために圧縮(例えば量子化)を必要とする。
本稿では,容量の問題に加えて,単一ユーザを対象とした長期コンテキストモデルの提供を防止するための制限について検討した。
1つのGPU上で1つのモデルを特徴付けるのではなく、複数のGPU世代で異なるモデルがどのように振る舞うかを分析する。
これにより、個々のボトルネックだけでなく、非効率が生じる広範なトレンドを明らかにすることができます。
我々の分析は、予想通り、長期コンテキスト推論のランタイムは自己注意が支配的であることを確認した。
より意外なことに、我々の評価では、現在の自己注意構造は、主要なGPUリソースを著しく過小評価し、最新のGPUは、しばしばあまり役に立たない。
これらの発見の多くは、KVキャッシュのページングからGPUのキャッシュ利用と同期の改善に至るまで、基本的なデータ管理の問題である。
本研究は,本研究の成果を,今後の研究に向けての一連の実験観察および公式勧告として提示するものである。
関連論文リスト
- Performance of Small Language Model Pretraining on FABRIC: An Empirical Study [2.2070336216767763]
本研究では,学習者が無償で試用できる実験台上での小型LLMの事前学習技術の性能について検討する。
我々は,GPT-2ミディアムモデルと大規模モデルを使用し,オープンソースパッケージであるAlpaとRayを用いて事前訓練を行った。
我々は,GPUが地理的に分散された場合,演算子内並列性と演算子間並列性を一括最適化したAlpaの実行計画が,常に最善を尽くしたことを観察した。
論文 参考訳（メタデータ） (2026-02-02T17:58:47Z) - NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。
我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。
提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
論文 参考訳（メタデータ） (2025-05-28T20:43:10Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳（メタデータ） (2025-05-01T17:41:49Z) - Accurate GPU Memory Prediction for Deep Learning Jobs through Dynamic Analysis [0.3867363075280544]
メモリ外エラーは、モデルトレーニングと効率的なリソース利用にとって主要な障害となる。
VeritasEstは完全にCPUベースの分析ツールで、ディープラーニングのトレーニングタスクに必要なピークGPUメモリを正確に予測することができる。
その性能は、畳み込みニューラルネットワーク(CNN)モデルにわたる数千の実験的な実行を通じて検証された。
論文 参考訳（メタデータ） (2025-04-04T19:20:03Z) - Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference [4.497936996651617]
大規模言語モデルは様々なタスクに広く採用されているが、その自己回帰的な性質は推論時に非効率な資源利用につながることが多い。
本稿では、GPUレベルの詳細な分析を通して、大バッチ推論がメモリバウンドのままであり、ほとんどのGPU計算能力は未利用であることを示す。
論文 参考訳（メタデータ） (2025-03-11T11:21:35Z) - CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。
以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。
このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-21T08:21:12Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。
我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。
この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
論文 参考訳（メタデータ） (2022-12-28T18:59:28Z) - Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous
Multi-GPU Servers [65.60007071024629]
本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。
本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
論文 参考訳（メタデータ） (2021-10-13T20:58:15Z) - Understanding Training Efficiency of Deep Learning Recommendation Models
at Scale [8.731263641794897]
本稿では,リコメンデーションモデルのトレーニングにGPUを使うことの難しさについて説明する。
スケールにおけるハードウェア効率に影響を与える要因と、新しいスケールアップGPUサーバ設計であるZionから学んだこと。
論文 参考訳（メタデータ） (2020-11-11T01:21:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。