論文の概要: Evaluating Inference Compute for Generative AI: A Framework for Enterprise Workloads

• arxiv url: http://arxiv.org/abs/2610.07094v1
• Date: Mon, 05 Oct 2026 13:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.548977
• Title: Evaluating Inference Compute for Generative AI: A Framework for Enterprise Workloads
• Title（参考訳）: 生成AIのための推論計算の評価: エンタープライズワークロードのためのフレームワーク
• Abstract要約: LLMの展開は単ターン完了からエージェント軌道へ移行している。 これは推論ハードウェアの経済性を逆転させる。 この体制がなぜインディーに重みを保ち続ける加速器を好んでいるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM deployment is shifting from single-turn completion to agentic trajectories in which a model plans, calls tools, reads results and reasons at test time before acting. This inverts the economics of inference hardware: chat serving amortises weight reads across large batches, whereas agent trajectories are sequentially dependent, run at effective batch one, and make per-token decode latency (TPOT) the dominant term in task completion time. Using a roofline analysis and a closed-form episode-latency model, we show why this regime favours accelerators that keep weights in on-die SRAM (Cerebras WSE-3/3T, Groq/NVIDIA LPU) or compiler-managed tiered memory (SambaNova SN40L/SN50), and why three vendor ecosystems converged in 2026 on disaggregated prefill/decode serving. We show that per-step reliability compounds exponentially in trajectory length-a 2% per-step failure rate erases a 2x decode advantage for a 20-step agent-so determinism and tail latency are first-order performance variables. We then propose a four-layer evaluation framework (silicon, serving system, agent episode, enterprise) with a metric set built on goodput at an agentic SLO and cost per successful episode, a six-axis benchmark protocol over six task families, a paired-bootstrap statistical design, an attestation protocol for vendor-run benchmarks, and TCO, availability and adoption-timing models with explicit break-even conditions. All performance figures are public and labelled by evidence class; we state seven falsifiable hypotheses and the experiments that test them, and argue that the most likely original result is that token-throughput rankings diverge from cost-per-successful-task rankings on long-horizon work.
• Abstract（参考訳）: LLMのデプロイメントは、単一ターンの完了から、モデルプランやツールの呼び出し、結果の読み込み、動作前のテスト時の理由といったエージェント的なトラジェクトリへと移行しています。 これは推論ハードウェアの経済を逆転させる: チャットサービスアモーティスは大きなバッチにわたってウェイトを読み取るが、エージェントトラジェクトリはシーケンシャルに依存し、効率的なバッチ1で実行し、タスク完了時間におけるタスク毎のデコードレイテンシ(TPOT)を支配的な用語にする。 屋上解析とクローズドフォームエピソードレイテンシーモデルを用いて,本体制は,SRAM(Cerebras WSE-3/3T,Groq/NVIDIA LPU)やコンパイラ管理型タインドメモリ(SambaNova SN40L/SN50)に重みを保ち,2026年に非凝集プリフィル/デコードサービスで3つのベンダーエコシステムが収束した理由を示す。 本研究では,20ステップのエージェント・ソ決定性に対する2倍のデコード優位性を排除し,テール遅延が1次性能変数であることを示す。 次に,エージェントSLOの出力をベースとした4層評価フレームワーク(シリコン,サービスシステム,エージェントエピソード,エンタプライズ),6つのタスクファミリ上の6軸ベンチマークプロトコル,ペアリングブートストラップ統計設計,ベンダ実行ベンチマークの検証プロトコル,TCO,アベイラビリティと採用最適化モデルなどを提案する。 パフォーマンスの数字はすべて公開され、エビデンスクラスによってラベル付けされている。我々は7つの虚偽の仮説とそれらをテストする実験を述べ、最も可能性の高い結果として、トークン・インプットのランキングは長期の作業におけるコスト・パー・サクシフル・タスクのランキングから分岐している、と論じている。

関連論文リスト

• APEXA: Execution-Integrity Enforcement for Multi-Agent LLM Automation of Synchrotron Data Reduction [0.23332469289621782]
  我々は、シンクロトロンデータリダクションのための61のツールをコーディネートするフレームワークAPEXAを提案する。 決定論的実行統合ガードは、実行されていないツール呼び出しの結果を返すのを防ぐ。 また,APEXA-Benchは科学的正当性と身体的影響によって構成された58の施設タスクである。
  論文  参考訳（メタデータ） (2026-09-21T06:33:11Z)
• An Empirical Study of Coordination Mode as the First-Class Citizen in From-Scratch Multi-Agent Coding [9.678180803829207]
  我々は,マルチエージェント評価ベンチマークであるMSEvalを導入し,実世界のタスクにおけるマルチエージェントコーディングを評価する。 MSEvalは10のドメインにわたる、真正でフルスタックの10のプロジェクトで構成され、階層的な要件と決定論的ルーリックを使用してパフォーマンスをスコアする。
  論文  参考訳（メタデータ） (2026-07-30T08:53:05Z)
• DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners? [57.585275546688116]
  VLM(Vision-Language Models)は、エンボディエージェントの高レベルプランナーとしてますます普及している。 テストタイムの計算をいつ、どこで使うかを選択することは、実際の世界にフロンティアパフォーマンスをもたらす中心である、と私たちは主張する。 我々はマルチモーダルシーンコンテキストを用いてプロンプト毎に計算を割り当てるルーティングフレームワークであるDIRECTを紹介した。
  論文  参考訳（メタデータ） (2026-06-10T17:58:49Z)
• Inductive Deductive Synthesis: Enabling AI to Generate Formally Verified Systems [100.24694338574402]
  本稿では,インダクティブ・デダクティブ・シンセシス(IDS)について述べる。 IDSは約6.8時間で7/7を達成し、1仕様あたり106ドル、専門家の努力の約200倍、SOTAエージェントの約17%を達成している。 IDSはパフォーマンスフィードバックを同じループに組み込んでおり、検証されたシステムよりも最大3倍高速な実装を実現している。
  論文  参考訳（メタデータ） (2026-05-22T00:05:36Z)
• Towards Multi-Agent Autonomous Reasoning in Hydrodynamics [0.06999740786886537]
  本稿では,多エージェントをレイヤ実行グラフ(LEG)を介して協調させる,流体力学のためのマルチエージェントシステム(MAS)のプロトタイプを提案する。 プランナーエージェントは、ドメイン知識を厳密な制御ロジックとしてハードコーディングすることなく、自然言語ルーティングからクエリ固有の実行トポロジを構築する。 レポーターエージェントが最終応答を合成し、ランタイムが監査性をサポートするためのツール呼び出し毎に証明をログする。
  論文  参考訳（メタデータ） (2026-05-01T21:17:55Z)
• SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling [13.335296846555204]
  現在のパイプラインは、最適化されていないデモデータ、スパース実行報酬、計算的に禁止された推論スケーリングによってボトルネックされる。 SWE-TRACEはデータキュレーション、強化学習(RL)、テスト時間推論にまたがるSWEエージェントライフサイクルを最適化する統合フレームワークである。 標準SWEベンチマークの実験により、SWE-TRACEは、両方のトークン消費推論遅延を大幅に削減しつつ、解決率を最大化し、最先端の精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-04-16T09:41:47Z)
• SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
  エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。 しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。 このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。 本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:45:47Z)
• Agentic Test-Time Scaling for WebAgents [65.5178428849495]
  CATTS(Confidence-Aware Test-Time Scaling)を提案する。 CATTSは、WebArena-LiteとGoBrowseのパフォーマンスをReact上で最大9.1%改善し、均一なスケーリングよりも最大2.3倍少ないトークンを使用する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:30Z)
• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)
• The 4/$δ$ Bound: Designing Predictable LLM-Verifier Systems for Formal Method Guarantee [5.345468714252351]
  この研究は LLM-Verifier Convergence Theorem の開発によってギャップを埋める。 LLMと検証器の相互作用を離散時間マルコフ連鎖としてモデル化する。 われわれはこの予測を90,000件以上の治験を含む広範囲な実証キャンペーンでストレステストした。
  論文  参考訳（メタデータ） (2025-11-30T22:19:09Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。