論文の概要: SpBench: An Agent-Native Framework for Cross-Engine Lakehouse Benchmarking

• arxiv url: http://arxiv.org/abs/2611.00449v1
• Date: Fri, 30 Oct 2026 23:05:21 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:01:37.668505
• Title: SpBench: An Agent-Native Framework for Cross-Engine Lakehouse Benchmarking
• Title（参考訳）: SpBench: クロスエンジンなレイクハウスベンチマークのためのエージェントネイティブフレームワーク
• Abstract要約: SpBenchはクロスエンジンレイクハウスベンチマークのためのエージェントネイティブフレームワークである。 幅広いワークロードのポートフォリオにわたって継続的に動作し、パフォーマンスロードマップを導いてくれる。
• 参考スコア（独自算出の注目度）: 21.679902511506068
• License:
• Abstract: SpBench is an agent-native framework for cross-engine lakehouse benchmarking, in production use for benchmarking Snowpark, Snowpark Connect for Apache Spark, and other execution environments across standardized suites -- such as TPCx-BB and TPC-DI -- and custom benchmarks distilled from production workload patterns. It runs continuously across a broad portfolio of workloads, guiding the performance roadmap and detecting regressions for production-scale data engines. Benchmarking has historically been an expensive investment requiring continuous cross-functional collaboration and domain expertise, making it difficult to obtain actionable performance insights. SpBench provides (i) a typed, code-generated benchmark substrate that compiles platform-agnostic benchmark definitions into fair, comparable platform-specific implementations; (ii) a structured-telemetry contract recording every run as queryable fact and dimension data, letting LLM agents query results deterministically; and (iii) an agent-native harness of three composable skills to expedite building benchmarks and analyzing results. This agent-native architecture enabled the rapid development of more than 400 benchmark queries that run on a regular cadence to detect performance regressions; catching these has directly led to improvements in production.
• Abstract（参考訳）: SpBenchは、クロスエンジンレイクハウスベンチマークのためのエージェントネイティブフレームワークで、Snowpark、Apache Spark用のSnowpark Connect、TPCx-BBやTPC-DIといった標準化されたスイートにわたる実行環境、およびプロダクションワークロードパターンから抽出されたカスタムベンチマークのベンチマークに本番で使用される。 幅広いワークロードのポートフォリオにわたって継続的に動作し、パフォーマンスロードマップを導き、実運用規模のデータエンジンのレグレッションを検出する。 ベンチマークは歴史的に、継続的なクロスファンクショナルなコラボレーションとドメインの専門知識を必要とする高価な投資であり、実用的なパフォーマンスの洞察を得るのは難しい。 SpBench が提供する (i) プラットフォームに依存しないベンチマーク定義を公平かつ同等なプラットフォーム固有の実装にコンパイルする、型付きコード生成ベンチマーク基板。 2)全ての実行を照会可能な事実及び次元データとして記録する構造化テレメトリ契約であって、LLMエージェントが照会結果を確定的に行うことができること。 三 建設ベンチマークの迅速化及び分析を行うための3つの構成可能な技術を有するエージェントネイティブハーネス。 このエージェントネイティブアーキテクチャにより、通常のケイデンス上で実行される400以上のベンチマーククエリを迅速に開発してパフォーマンスのレグレッションを検出することが可能になった。

関連論文リスト

• AgentPerfBench: A Benchmarking and Evaluation Suite for Inference Performance of Agentic LLMs [39.76344176950261]
  我々はエージェント推論のためのベンチマークスイートであるAgenPerfBenchを紹介する。 SWE-BenchやTerminalBenchといったエージェントベンチマークの本当のトレースと、標準的なチャットベースラインを使用している。 AgentPerfBenchはまた、入力長さ、出力長さ、実際のトレースから派生したターン数などの経験的分布をサンプリングし、新しいハードウェアの安価で正確な測定のための合成プロファイルを生成する。 我々はこれらの問題を詳細に議論し、メモリ帯域幅とメモリ容量のフットプリントのハードウェアシステム制限をキャプチャする新しい多次元モデルを構築するために、カーネルレベルのNsight Computeトレースを提供する。
  論文  参考訳（メタデータ） (2026-09-28T09:09:42Z)
• Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment [51.83961778298564]
  Flower Hubは、分散およびフェデレーションされたアプリケーションを公開、発見、実行するためのプラットフォームです。 ベンチマークを実行可能としてパッケージングすることで再現性のあるベンチマークを実現する方法、標準化されたメタデータを備えたバージョン管理されたアプリケーション、ピン付き依存関係、明示的な評価について示す。
  論文  参考訳（メタデータ） (2026-08-25T20:09:44Z)
• BatchBench: Toward a Workload-Aware Benchmark for Autoscaling Policies in Big Data Batch Processing -- A Proposed Framework [0.0]
  BatchBenchはオープンなベンチマークフレームワークで、平等な足場上でルールベース、学習、エージェントによるオートスケーリングポリシーを設定するように設計されている。 1)自動スケーリングベンチマークと公開クラスタトレースから合成された6つのバッチ処理クラスのワークロード,(2)2サンプルのKolmogorov-Smirnovとアースモーバー距離に基づく検証手法,(3)コスト,SLA達成,スケール応答性,スケールスラッシュ,決定解釈性を含む5軸評価ハーネス仕様,(4)LLMベースおよび強化学習オートスケーラをルールベースのコントローラとともに評価するための標準化されたエージェントインターフェース。
  論文  参考訳（メタデータ） (2026-05-12T15:36:20Z)
• CUBE: A Standard for Unifying Agent Benchmarks [138.9831263189749]
  MCPとGymをベースとしたユニバーサルプロトコル標準CUBE(Common Unified Benchmark Environments)を提案する。 CUBEは、任意の準拠プラットフォームがカスタム統合なしで、評価、RLトレーニング、データ生成のための準拠ベンチマークにアクセスできるようにする。
  論文  参考訳（メタデータ） (2026-03-16T18:31:37Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code [1.1164117387254457]
  大言語モデル(LLM)ベースのコードアシスタントは、生成AIの強力な応用として登場した。 これらのシステムの主な要件は、ユーザの指示を正確に従う能力である。 PACIFICは,逐次命令追従機能とコードドライラン機能とを厳格に評価するベンチマークを自動的に生成する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-12-11T14:49:56Z)
• Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation [5.332969177132911]
  SWE-Bench Verifiedのようなソフトウェアエンジニアリングエージェントを評価するための現在のベンチマークは、主にGitHubの問題に由来する。 既存のベンチマークを現実的なユーザクエリに変換する,新たなベンチマークフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-10-10T04:42:02Z)
• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。