論文の概要: How Developers Configure LLM Inference: A Large-Scale Study of Real-World Practices

• arxiv url: http://arxiv.org/abs/2610.27945v1
• Date: Tue, 20 Oct 2026 09:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.755499
• Title: How Developers Configure LLM Inference: A Large-Scale Study of Real-World Practices
• Title（参考訳）: 開発者がLLM推論をどのように構成するか: 実世界の実践を大規模に研究する
• Abstract要約: 推論バックエンドは、モデルローディング、生成、サービス、リクエスト処理に影響を与える多くのオプションを公開する。 しかし、開発者が実際に明示的に設定するオプションについてはほとんど分かっていない。 これらのバックエンドの少なくとも1つを使って5,398のGitHubリポジトリを分析し、345,117の明示的に設定されたオプションの発生を特定します。
• 参考スコア（独自算出の注目度）: 4.093681736864143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are increasingly integrated into software systems, making deployment and inference configuration a recurring software engineering task. Inference backends expose many options that affect model loading, generation, serving, and request processing. Yet little is known about which of these options developers explicitly configure in practice. In this paper, we present a large-scale empirical study of LLM inference configuration practices in open-source software using Hugging Face Transformers, vLLM, and the OpenAI API. We analyze 5,398 GitHub repositories using at least one of these backends and identify 345,117 explicitly configured option occurrences. Our results show that developers use only a small part of the available configuration space regularly. Although 98.8% of the documented backend-specific options appear at least once, 78.9% are configured in at most 10% of repositories using the corresponding backend. Configurations are also small, with a median of 2 options for Transformers and 4 for vLLM and OpenAI, but the combinations of options vary widely: 56.8-61.6% of multi-option signatures appear in only one repository. We also observe recurring option values as well as substantial variation in how values are chosen. Finally, configuration practices differ across application contexts, with option-adoption differences reaching 30.7 percentage points. These findings characterize the configuration surface developers make explicit rather than the importance or optimality of individual options. They provide empirical evidence for prioritizing future studies of inference configuration and for improving backend documentation and configuration support.
• Abstract（参考訳）: LLMはますますソフトウェアシステムに統合され、デプロイメントと推論設定が繰り返しソフトウェアエンジニアリングタスクとなる。 推論バックエンドは、モデルローディング、生成、サービス、リクエスト処理に影響を与える多くのオプションを公開する。 しかし、開発者が実際に明示的に設定するオプションについてはほとんど分かっていない。 本稿では,Hugging Face Transformers, vLLM, OpenAI APIを用いたオープンソースソフトウェアにおけるLLM推論の実践に関する大規模な実証的研究を行う。 これらのバックエンドの少なくとも1つを使って5,398のGitHubリポジトリを分析し、345,117の明示的に設定されたオプションの発生を特定します。 この結果から,開発者は定期的に利用可能な構成空間のごく一部しか利用していないことがわかった。 ドキュメント化されたバックエンド固有のオプションの98.8%が少なくとも1回は現れるが、78.9%は対応するバックエンドを使用して、少なくとも10%のリポジトリに設定されている。 構成も小さく、Transformerには2つのオプション、vLLMとOpenAIには4つのオプションがあるが、オプションの組み合わせは様々である: 56.8-61.6%のマルチオプションシグネチャが1つのリポジトリにのみ表示される。 また、繰り返し発生するオプション値や、どのように値が選択されるかのかなりのバリエーションも観察します。 最後に、コンフィグレーションのプラクティスはアプリケーションコンテキストによって異なり、オプションとオプションの違いは30.7ポイントに達する。 これらの知見は、個々のオプションの重要性や最適性よりも、表面の開発者が明示的な構成を特徴付ける。 推論設定に関する将来の研究を優先順位付けし、バックエンドのドキュメントと構成サポートを改善するための実証的な証拠を提供する。

関連論文リスト

• optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
  単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。 LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
  論文  参考訳（メタデータ） (2026-05-19T10:18:12Z)
• EnvBench: A Benchmark for Automated Environment Setup [76.02998475135824]
  大規模言語モデルにより、研究者はソフトウェア工学領域における実用的なリポジトリレベルのタスクに集中できるようになった。 環境設定に関する既存の研究は革新的なエージェント戦略を導入しているが、その評価は小さなデータセットに基づいていることが多い。 このギャップに対処するため、包括的環境設定ベンチマークEnvBenchを紹介します。
  論文  参考訳（メタデータ） (2025-03-18T17:19:12Z)
• Scaling LLM Inference with Optimized Sample Compute Allocation [56.524278187351925]
  我々は、異なる推論構成の最適な混合を見つけるアルゴリズムであるOSCAを提案する。 実験の結果,学習した混合アロケーションでは,最高の単一構成よりも精度がよいことがわかった。 OSCAはシングルターンタスク以外のエージェント処理にも有効であることが示されており、デフォルト設定よりも3倍少ない計算でSWE-Benchの精度が向上している。
  論文  参考訳（メタデータ） (2024-10-29T19:17:55Z)
• Dividable Configuration Performance Learning [4.949726352498762]
  本稿では,DaLと呼ばれる構成性能を予測するためのモデルに依存しない,スパース性ロバストなフレームワークを提案する。 DaLは、"diide-and-learn"を使ってモデルを構築する、分割可能な学習の新しいパラダイムに基づいている。
  論文  参考訳（メタデータ） (2024-09-11T21:23:23Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Predicting Configuration Performance in Multiple Environments with Sequential Meta-learning [3.635696352780227]
  SeMPLはメタラーニングフレームワークで、異なる(メタ)環境で測定された構成から共通理解を学ぶ。 その結果,SeMPLは89%のシステムにおいて,最大99%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-02-05T16:47:13Z)
• Predicting Software Performance with Divide-and-Learn [3.635696352780227]
  本稿では,DALと呼ばれる「分枝学習」の概念に基づくアプローチを提案する。 実世界の8つのシステムと5つのトレーニングデータによる実験結果から、DaLは40件中33件で最高のシステムよりもパフォーマンスが劣っていることが判明した。
  論文  参考訳（メタデータ） (2023-06-11T11:16:27Z)
• Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training [88.80694147730883]
  本稿では,多種多様なモダリティ共有コントラスト言語-画像事前学習(MS-CLIP)フレームワークについて検討する。 学習条件下では、視覚と言語信号のためのほとんど統一されたエンコーダが、より多くのパラメータを分離する他のすべてのバリエーションより優れていることが観察された。 我々のアプローチは、24の下流視覚タスクのコレクションに基づいて、線形探索においてバニラCLIPを1.6ポイント上回ります。
  論文  参考訳（メタデータ） (2022-07-26T05:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。