論文の概要: RoofLang: Enabling AI-Driven Architecting of LLM Inference Systems

• arxiv url: http://arxiv.org/abs/2609.12551v1
• Date: Fri, 11 Sep 2026 07:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.672764
• Title: RoofLang: Enabling AI-Driven Architecting of LLM Inference Systems
• Title（参考訳）: RoofLang: LLM推論システムのAI駆動アーキテクチャの実現
• Abstract要約: 既存のAI最適化は主にプロファイリングベースである。 プロファイリングバウンドフィードバックは、既存のソフトウェアスタックの機能とパフォーマンスに対する探索を制限します。 我々は、一般的なワークロード表現、検証可能な突然変異空間、実装に依存しない実装が必要であると論じる。
• 参考スコア（独自算出の注目度）: 5.370582641816191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI is beginning to make substantive contributions to LLM inference optimization. Existing AI optimizations are predominantly profiling-based. Profiling-bound feedback confines the search to the capabilities and performance of an existing software stack, preventing a fundamentally better architecture of LLM inference systems from being identified. To enable the AI-driven LLM inference system architecting loop, we argue that a general workload representation, a verifiable mutation space, and an implementation-independent evaluator are required. We present the RoofLang domain-specific language (DSL) that provides these features. In our evaluation, RoofLang reveals that DeepSeek V4-series models could achieve 3.5-39.5$\times$ higher peak decode throughput than other representative models. This gap is disproportionate to their total parameter counts and arises largely from compact KV-cache designs that support larger batches and reduce memory traffic. A persistent optimizer agent further discovered several new architectures that improved both throughput and interactivity of DeepSeek V4 Pro on NVIDIA B300 by 6.23-50.1%.
• Abstract（参考訳）: AIはLLM推論最適化に実質的な貢献を始めている。 既存のAI最適化は主にプロファイリングベースである。 プロファイリングバウンドのフィードバックは、既存のソフトウェアスタックの機能と性能の探索を制限し、LLM推論システムのアーキテクチャが根本的に改善されるのを防ぐ。 AI駆動型LLM推論システム構築ループを実現するには、一般的なワークロード表現、検証可能な突然変異空間、実装に依存しない評価器が必要であると論じる。 これらの機能を提供するRoofLangドメイン固有言語(DSL)を紹介します。 我々の評価において、RoofLangはDeepSeek V4シリーズモデルが3.5-39.5$\times$高ピークデコードスループットを達成することを明らかにした。 このギャップは総パラメータ数に比例し、大きなバッチをサポートし、メモリトラフィックを減少させるコンパクトなKVキャッシュ設計から生じる。 永続最適化エージェントはさらに、NVIDIA B300上のDeepSeek V4 Proのスループットと対話性を6.23-50.1%改善したいくつかの新しいアーキテクチャを発見した。

関連論文リスト

• SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD [91.71050339479261]
  本稿では,Ascend NPU SuperPODにおけるエンドツーエンド最適化手法を提案する。 モデルレベルの並列性、計算通信オーケストレーション、低レベルのカーネル実行にまたがる階層的最適化フレームワークを開発した。 その結果、34.22%のモデルFLOP(Model FLOP)利用が達成され、オープンソースのベースラインレシピよりも2.93倍改善された。
  論文  参考訳（メタデータ） (2026-07-22T13:49:17Z)
• Empirical Recipes for Efficient and Compact Vision-Language Models [54.92440500651415]
  リソース制約のある設定における視覚言語モデル(VLM)は低レイテンシと高スループットを必要とする。 実験的なエンドツーエンドの効率分析と系統的なプロファイル推論を行い、主要なボトルネックを特定します。 精度を保ちながらレイテンシを大幅に低減する,コンパクトなVLMに適した最適化レシピを開発した。
  論文  参考訳（メタデータ） (2026-03-17T17:17:40Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
  RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。 複数の多様な実装設計を生成することで、線形パッチから切り離される。 NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
  論文  参考訳（メタデータ） (2026-03-02T12:50:40Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• ShishuLM: Lightweight Language Model with Hybrid Decoder-MLP Architecture and Paired Weight Sharing [0.5565728870245015]
  本稿では,パラメータカウントとキーバリュー(KV)キャッシュ要求の両方を削減できる,効率的な言語モデルアーキテクチャであるShishuLMを紹介した。 以上の結果から,ShshuLMは最大25%のメモリ要求を削減し,トレーニングと推論の両方で最大40%のレイテンシ向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-10-13T04:04:54Z)
• InternVL3.5: Advancing Open-Source Multimodal Models in Versatility, Reasoning, and Efficiency [255.9417257812203]
  InternVL 3.5は、多目的性、推論能力、推論効率を大幅に向上させる、オープンソースの新しいマルチモーダルモデルである。 主要なイノベーションはCascade Reinforcement Learningフレームワークで、2段階のプロセスを通じて推論を強化する。 我々の最大のモデルであるInternVL3.5-241B-A28Bは、一般的なマルチモーダル、推論、テキスト、エージェントタスクにわたるオープンソースのMLLMの最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-08-25T17:58:17Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models [8.02264001053969]
  大きな言語モデル(LLM)は、広範囲のアプリケーションで顕著なパフォーマンスを示しており、しばしば人間の専門家よりも優れています。 LLMの継続的なイノベーションが最適化に役立ち、モデルアーキテクチャはブレークネックスピードで進化しているため、サービスレベルオブジェクト(SLO)を満たすためのハードウェア要件は、オープンな研究課題のままである。 我々は、多様なLLMモデルアーキテクチャとAIプラットフォーム設計パラメータの関係を効率的にナビゲートする分析ツールGenZを提案する。
  論文  参考訳（メタデータ） (2024-06-03T18:00:50Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。