論文の概要: AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning of LLM Serving Engines
- arxiv url: http://arxiv.org/abs/2609.18123v1
- Date: Wed, 16 Sep 2026 04:58:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.636667
- Title: AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning of LLM Serving Engines
- Title（参考訳）: AutoTuneBench: LLMサービングエンジンのエージェントオートチューニングのための信頼できる測定方法
- Abstract要約: 本稿では,信頼アーキテクチャを実現するベンチマークおよび測定プロトコルであるAutoTuneBenchを紹介する。
619モデルコールの4日間のパイロットコーパスから4つの障害モードを特徴付ける。
- 参考スコア（独自算出の注目度）: 8.951500258016974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model agents tune GPU kernels and serving engines through a closed loop of propose, measure, and keep, but the measurements behind this loop are not trustworthy. We characterize four failure modes from a four-day pilot corpus of 619 model calls: strawman baselines manufacture speedups, absolute times do not transfer across machines, saturated tasks nullify comparisons, and infrastructure defects impersonate science. We present AutoTuneBench, a benchmark and measurement protocol that makes trust architectural. The protocol is frozen as code with test-enforced provenance; a database-level validator rejects out-of-protocol results; anti-cheat checks run outside the agent's modification surface; comparisons follow pre-registered readouts; and measurements anchor to externally published results, grounded in paired-seed statistics with a 5\% cross-run coefficient-of-variation cap. Honest measurement rewrites the headlines: our best kernel reads 10.6x against a naive baseline but 2.03x against the honest one; one configuration delivers 1.174x on one machine and 1.0049x on another; a pre-registered on/off comparison nulls at a shared wall (2.4840 vs 2.4957\,ms); and the KernelBench Level-1 suite admits 51\% of tasks with median speedup 1.0001x over PyTorch eager. The protocol, the two-engine corpus (vLLM and SGLang), and its audit trail are released as open artifacts.
- Abstract（参考訳）: 大規模言語モデルエージェントはGPUカーネルをチューニングし、提案、測定、保持のクローズドループを通じてエンジンを提供するが、このループの背後にある測定は信頼できない。
619のモデルコールの4日間のパイロットコーパスから4つの障害モードを特徴づける: ストローマンベースラインはスピードアップを製造し、絶対時間はマシン間で転送されない、飽和タスクは比較を無効にする、そしてインフラ欠陥は科学を擬人化する。
本稿では,信頼アーキテクチャを実現するベンチマークおよび測定プロトコルであるAutoTuneBenchを紹介する。
このプロトコルはテスト強化された証明付きコードとして凍結され、データベースレベルのバリデータがアウト・オブ・プロトコールの結果を拒否し、反チートチェックはエージェントの修正面外で実行される。
最高のカーネルは、単純なベースラインに対して10.6倍、正直なベースラインに対して2.03倍、一方のマシンで1.174倍、もう一方のマシンで1.0049倍、共有ウォールで事前登録されたオン/オフ比較のnull(2.4840 vs 2.4957\,ms)、カーネル弁チレベル1スイートは、PyTorchの1.0001倍のタスクで51倍のタスクを許容している。
プロトコル、二エンジンコーパス(vLLMとSGLang)、監査パスはオープンアーティファクトとしてリリースされた。
関連論文リスト
- Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG [45.88028371034407]
マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
論文 参考訳（メタデータ） (2026-07-12T15:13:09Z) - How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection [41.369102837712795]
燃えるようなテストは同じコードバージョンでパスしてフェールし、テスト結果のシグナルを弱める。
コードベースのフレキネス検出器は強力なベンチマーク結果を報告しているが、実際の使用は限られている。
フレキネスはテストコードの静的な特性ではなく、テストが不安定かどうかを決定するのに必要な情報が欠けていることが多い、と私たちは主張する。
論文 参考訳（メタデータ） (2026-07-10T12:24:25Z) - Auto: The AGI Compiler [0.0]
Autoは、ライブエージェントの振る舞いを記録し、どの部分が秘密に決定論的かを測定し、それを検証プログラムや蒸留専門家に抽出し、認識バイナリを出力するコンパイラである。
我々は,「AGIコンパイラ」を狭義で実証可能な意味で使用し,新規体験を,未知の知識を計測しながら,永続的で検証された,ほぼ自由なスキルに自律的に変換するシステムを開発した。
論文 参考訳（メタデータ） (2026-07-05T23:09:24Z) - StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns [45.43677974796221]
コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介する。
一般的な分数タスクのメトリクスとは異なり、これはセッションが数十回、数百回実行される実際のバイブコーディングと一致します。
論文 参考訳（メタデータ） (2026-06-17T21:36:09Z) - SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents [40.270213696031625]
符号化エージェントは、シェル、ファイル、ネットワークアクションのシーケンスとして良質なタスクを実行する。
プロンプトは敵ではなく、実行は成功しますが、スコープ外ステップでは認証情報をリークしたり、ファイルを削除することができます。
既存のベンチマークでは、タスク補完スイートは、完了した実行を承認し、jailbreakスイートは、逆のプロンプトをプローブし、以前のオーバーイーガーベンチマークは、各エージェントモデルペアに単一の固定プロンプトを適用する。
再利用可能なスコープから良性シナリオを構成するパイプラインであるSNAREを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:14:07Z) - Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。
クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。
オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
論文 参考訳（メタデータ） (2026-05-18T16:00:41Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning [10.815335026032377]
TraceEvalは、コードセマンティック推論のための最初の実行検証されたマルチ言語ベンチマークである。
TraceEvalは、Python、JavaScript、Javaにまたがる1,600以上のオープンソースリポジトリから抽出された10,583の現実世界プログラムで構成されている。
最も強いClaude-Opus-4.6は、3つの言語で平均72.9%のF1に達する。
論文 参考訳（メタデータ） (2026-05-10T07:17:00Z) - RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。
エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。
ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
論文 参考訳（メタデータ） (2026-03-11T22:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。