論文の概要: $Φ$-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?

• arxiv url: http://arxiv.org/abs/2609.10226v1
• Date: Wed, 09 Sep 2026 14:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.048812
• Title: $Φ$-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?
• Title（参考訳）: $$-Bench: 大規模言語モデルでは,その動力となるインフラストラクチャをエンジニアに提供できますか?
• Abstract要約: $-Benchは、LLMインフラストラクチャスタックのエンジニアリング上の大きな言語モデル(LLM)を評価するためのベンチマークである。 $-Benchは、フロンティア研究で研究され、現実世界のコードリポジトリに根ざした最適化問題に由来する。
• 参考スコア（独自算出の注目度）: 38.43131935999474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in reasoning and code generation, raising the prospect that they could assist in developing and optimizing the very infrastructure that powers them. However, existing benchmarks mainly focus on isolated kernels, predefined operators, or pre-specified optimization targets, and therefore fail to evaluate the ability of LLMs to perform open-ended, long-horizon LLM infrastructure engineering. To address this gap, we present $Φ$-Bench, a benchmark for systematically evaluating LLMs on engineering the LLM infrastructure stack. Derived from optimization problems studied in frontier research and grounded in real-world code repositories, $Φ$-Bench provides broad coverage of the LLM infrastructure stack and spans tasks of varying complexity, ranging from localized kernel-level function completion to long-horizon implementation and end-to-end system optimization. Extensive experiments on frontier LLMs reveal their current capabilities and limitations in engineering complex LLM infrastructure, offering insights into the challenges that remain on the path toward autonomous optimization of future AI infrastructure.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論とコード生成において顕著な能力を示し、それらを支えるインフラストラクチャの開発と最適化を支援できる可能性を高めている。 しかし、既存のベンチマークは主に孤立したカーネル、事前定義された演算子、または事前定義された最適化目標に焦点を当てており、そのため、LLMがオープンな長期のLLMインフラストラクチャエンジニアリングを実行する能力の評価に失敗している。 このギャップに対処するため,LLM インフラストラクチャスタックのエンジニアリング上で LLM を体系的に評価するベンチマークである $$-Bench を提示する。 ローカライズされたカーネルレベルの関数補完からロングホライゾンの実装、エンドツーエンドのシステム最適化まで、さまざまな複雑さのタスクをカバーしている。 フロンティアのLLMに関する大規模な実験は、エンジニアリングの複雑なLLMインフラストラクチャにおける現在の機能と制限を明らかにし、将来のAIインフラストラクチャの自律的最適化への道のりに残る課題に関する洞察を提供する。

関連論文リスト

• Can Large Language Models Reason and Optimize Under Constraints? [15.393985488316135]
  我々は、推論、構造化された入力処理、算術、制約付き最適化といった基本的なスキルのセットを必要とする、挑戦的な評価設定を導入する。 評価の結果, SoTA LLM はほとんどのタスクで失敗し, 推論 LLM は依然として最も複雑な設定で失敗していることがわかった。
  論文  参考訳（メタデータ） (2026-03-24T09:50:17Z)
• OPT-Engine: Benchmarking the Limits of LLMs in Optimization Modeling via Complexity Scaling [13.57588221678224]
  大規模言語モデル(LLM)は、最適化モデリングの驚くべき進歩を示している。 自動定式化と問題解決におけるそれらの能力の境界は、まだよく理解されていない。 OPT-ENGINEは、制御可能でスケーラブルな難易度を持つ最適化モデルにおいて、LCMを評価するために設計されたベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2026-01-09T09:22:33Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• RouterBench: A Benchmark for Multi-LLM Routing System [25.515453832224804]
  パフォーマンスとコストのバランスをとる場合、すべてのタスクやアプリケーションに最適に対処できるモデルは存在しない。 この制限により、個々のLSMの制約を克服するために、様々なモデルの強みを組み合わせたLSMルーティングシステムの開発に繋がった。 本稿では LLM ルーティングシステムの有効性を体系的に評価する新しい評価フレームワークである RouterBench を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:59:04Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Dissecting the Runtime Performance of the Training, Fine-tuning, and Inference of Large Language Models [26.2566707495948]
  大規模言語モデル(LLM)は、学術と産業の両方で大きく進歩している。 我々は,事前学習,微調整,LLMを異なるサイズで提供する場合のエンドツーエンド性能をベンチマークする。 次に,LLMにおける計算処理や通信演算子など,サブモジュールの詳細なランタイム解析を行う。
  論文  参考訳（メタデータ） (2023-11-07T03:25:56Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。