論文の概要: Learning to Formulate: Agentic Hardware-Software Co-Design of AI Infrastructure through Progressive Optimization and Verification
- arxiv url: http://arxiv.org/abs/2610.39380v1
- Date: Thu, 29 Oct 2026 05:15:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.043525
- Title: Learning to Formulate: Agentic Hardware-Software Co-Design of AI Infrastructure through Progressive Optimization and Verification
- Title（参考訳）: フォーミュラの学習: プログレッシブ最適化と検証によるAIインフラストラクチャのエージェントハードウェアとソフトウェアの共同設計
- Abstract要約: フォーミュラは言語モデルエージェントの作業を分割するフローである。
エージェントは定式化を書き、数学的解法がその内部で最適化し、検証と測定は仮定と結果をチェックする。
壁の緩和は、ソフトウェアを結合するハードウェアの限界を価格設定することでチップを検索する。
- 参考スコア（独自算出の注目度）: 9.36944074083092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI infrastructure, the chips and software that train and serve AI models, is designed in layers. Layers make the system manageable, but they also fix which choices an optimizer can consider. Gains that need the chip and its software to change together are excluded before optimization begins: the formulation leaves them out. Language-model agents make it possible to revisit these boundaries, but an agent's proposal cannot show by itself that a design is correct or optimal. We present Formulaic, a flow that divides the work. The agent writes the formulation, a mathematical solver optimizes within it, and verification and measurement check its assumptions and results. The agent refines the problem step by step, from the computation graph toward the chip. Each step is a template: a family of programs with the conditions under which they are correct. Wall relaxation searches the chip by pricing the hardware limits that bind the software. This paper takes a first step, through separate studies rather than one end-to-end run. On NVIDIA GB10, templates the agent wrote run complete Qwen3-8B layers $1.075\times$ faster than SGLang. In a simulated Ventus GPU study, joint design cuts the worst-scenario cycles of Qwen2.5-0.5B to 0.428 of the reference, against 0.934 for software alone. On a five-step GEMM refinement chain, reusing proofs makes checking $2.51\times$ faster.
- Abstract（参考訳）: AIモデルのトレーニングと提供を行うチップとソフトウェアであるAIインフラストラクチャは、レイヤで設計されている。
レイヤはシステムを管理可能にするが、オプティマイザが考慮できる選択も修正する。
チップとソフトウェアを一緒に変更する必要があるゲインは、最適化が始まる前に除外される。
言語モデルエージェントは、これらの境界を再検討することができるが、エージェントの提案は、設計が正しいか最適であることを示すものではない。
仕事を分割するフローであるフォーミュラを提示する。
エージェントは定式化を書き、数学的解法はその内部を最適化し、検証と測定は仮定と結果をチェックする。
エージェントは、計算グラフからチップに向かって、問題を段階的に洗練する。
各ステップはテンプレートであり、その下の条件が正しいプログラム群である。
壁の緩和は、ソフトウェアを結合するハードウェアの限界を価格設定することでチップを検索する。
本稿では,1つのエンドツーエンド実行ではなく,別の研究を通じて第一歩を踏み出す。
NVIDIA GB10では、エージェントが書いたテンプレートが完全なQwen3-8Bレイヤを実行し、SGLangよりも1.075\times$高速になった。
シミュレーションされたVentus GPU研究において、共同設計はQwen2.5-0.5Bの最悪のシナリオサイクルをソフトウェア単独で0.934に対して0.428に削減した。
5ステップのGEMMリファインメントチェーンでは、証明の再利用により、チェックが2.51\times$高速になる。
関連論文リスト
- Agentic Algorithm Design: LLMs that Propose, Formalise, and Prove Runtime Bounds for Evolutionary Algorithms in Lean [7.716156977428554]
本稿では,進化的アルゴリズムの設計と解析における研究手法に倣ってモデル化されたパイプラインについて述べる。
エージェントはブラックボックス最適化アルゴリズムを提案し、Leanガードは欠陥のある設計をフィルタリングする。
パイプラインはまた、整数値のサブモジュラー最小化のためのブラックボックス最適化アルゴリズムを設計し、解析する。
論文 参考訳（メタデータ） (2026-10-26T15:22:04Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - P$^{3}$: Joint Program-and-Proof Planning for Verified Code Generation [19.3449645807529]
検証されたコード生成は、プログラムの実行可能プログラムとマシンチェック可能な証明の両方を生成するために、大きな言語モデル(LLM)を要求する。
このシーケンシャルパイプラインは、実際には非効率かつ非効率である可能性があることを観察する。
プログラムとその正当性引数を手作業で開発するべきだというディクストラの見解に触発されて、我々は$P3$を提案する。
論文 参考訳（メタデータ） (2026-08-10T08:33:18Z) - SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳（メタデータ） (2026-08-05T17:51:25Z) - Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search [9.85275171877854]
本稿では,プログラム状態に対する動作条件付き潜在ダイナミクスとしての評価をスケジュールする評価器を提案する。
提案手法は,GPUで1.37$times$,CPUで1.54$times$,Ansorで64-trial budgetで1.37$times$の改善を行う。
また、PyTorch/PyTorch-opt(cuDNN)に対するフルモデル推論を4.61$times$/3.67$times$ometric meanで高速化する。
論文 参考訳（メタデータ） (2026-06-08T10:17:27Z) - Wall-Clock Complexity for Zeroth-Order Optimization with Tunable Oracle Fidelity [68.54852541944625]
ブラックボックス最適化は勾配が利用できない場合に適用され、客観的評価は高価なシミュレーションに依存する。
本稿では, オラクル型, ノイズモデル, 最適化方式の選択が, アルゴリズムパラメータに対する壁面最適選択をいかに引き起こすかを示す。
論文 参考訳（メタデータ） (2026-05-29T14:24:54Z) - Improving Efficiency of GPU Kernel Optimization Agents using a Domain-Specific Language and Speed-of-Light Guidance [2.6106833542109693]
エージェントが操作する抽象化レベルについて、2つの重要な観察を行う。
CUTLASSが支援するGPUカーネル用のコンパイラを備えたDSLであるCUTLASSでこれらの原則を実装します。
我々は、SOLガイダンスを使用して、ヘッドルームを推定し、最適化試験をガイドし、SOLに近い問題を優先順位付けし、ベンチマークをゲームするカーネルにフラグを付ける。
論文 参考訳（メタデータ） (2026-03-30T21:16:39Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Maestro: Joint Graph & Config Optimization for Reliable AI Agents [53.71882250666667]
Maestro は LLM エージェントのための全体論的に依存しないフレームワークであり、エージェントの品質を最大化するためにグラフや構成を共同で検索する。
IFBenchとHotpotQAのベンチマークでは、MIPROv2、GEPA、GEPA+といった主要なプロンプトを平均12%--4.9%、それぞれ4.86%上回っている。
論文 参考訳（メタデータ） (2025-09-04T20:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。