論文の概要: BADGER: Bridging Agentic and Deterministic Evaluation for Generative Enterprise Reasoning
- arxiv url: http://arxiv.org/abs/2606.02109v1
- Date: Mon, 01 Jun 2026 11:42:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.894002
- Title: BADGER: Bridging Agentic and Deterministic Evaluation for Generative Enterprise Reasoning
- Title（参考訳）: BADGER:ジェネレーティブエンタープライズ推論のためのブリッジングエージェントと決定論的評価
- Authors: Shannon Serrao, Soumitra Chatterjee, Dorina Strori, Abhishek Sharma, Nathan Miller,
- Abstract要約: BADGERはテキスト・ツー・アセスメントとエージェント動作評価を統合した統合フレームワークである。
BADGERは、クライアントが管理するデータ環境内で完全に動作します。
クライアント固有の判断とメトリクスの迅速なプロトタイピングをサポートする。
- 参考スコア（独自算出の注目度）: 0.8681424810073922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enterprise AI systems that translate natural language into SQL queries and orchestrate multi-step agentic reasoning pipelines require evaluation approaches fundamentally different from academic benchmarks. Spider and BIRD established execution-accuracy protocols; G-Eval and RAGAS advanced LLM-based assessment; and recent work such as Spider 2.0, BEAVER, and BIRD-Interact has begun to address enterprise and agentic dimensions. No single framework unifies text-to-SQL assessment with agentic behavior evaluation into a production-grade pipeline calibrated against human expert judgment. We present BADGER, developed at Merkle, a unified evaluation framework integrating text-to-SQL assessment with agentic behavior evaluation. BADGER offers three contributions. First, LLM-assisted SQL component extraction extending Spider methodology to handle CTE-heavy, dialect-specific SQL. Second, a hybrid execution accuracy metric (Hybrid-EX) resolving column-aliasing and numeric-tolerance brittleness by using an LLM to infer structural alignments before deterministic cell-level scoring. Validated on 150 human-annotated industry queries, Hybrid-EX achieves Cohen's kappa=0.717 [95% CI: 0.600-0.822] (Substantial agreement) and 87.3% balanced accuracy, outperforming all six competing frameworks (Delta-kappa: 0.322-0.502, all p<=0.001). Third, an enterprise agentic evaluation suite assembling RAGAS, G-Eval, and agent benchmark metrics into a unified pipeline; Excess Tool Usage is the sole novel element. BADGER runs entirely within the client's governed data environment, supports configurable LLM judge backends, and enables rapid prototyping of client-specific judges and metrics, serving as a continuous evaluation backbone rather than a one-time quality gate.
- Abstract（参考訳）: 自然言語をSQLクエリに変換し、多段階のエージェント推論パイプラインをオーケストレーションするエンタープライズAIシステムは、学術ベンチマークと根本的に異なる評価アプローチを必要とする。
スパイダーとBIRDは実行精度プロトコルを確立し、G-EvalとRAGASはLCMに基づく評価を進歩させ、近年ではスパイダー2.0、BEAVER、BIRD-Interactといった研究が企業やエージェントの次元に対処し始めている。
テキストからSQLへの評価とエージェント的行動評価を、人間の専門家による判断に対して調整されたプロダクショングレードのパイプラインに統合する単一のフレームワークはありません。
本稿では,テキスト間SQL評価とエージェント動作評価を統合した統合評価フレームワークであるBADGERについて述べる。
BADGERは3つのコントリビューションを提供している。
まず、LLM支援SQLコンポーネント抽出がSpiderメソッドを拡張して、CTE重で方言固有のSQLを処理する。
第2に、LCMを用いてカラムエイリアスと数値耐性の脆さを解消するハイブリッド実行精度測定(Hybrid-EX)を用いて、決定論的セルレベルスコアリング前に構造的アライメントを推定する。
150の業界クエリで検証されたHybrid-EXは、Cohenのkappa=0.717(95% CI: 0.600-0.822]と87.3%のバランスの取れた精度を実現し、競合する6つのフレームワーク(Delta-kappa: 0.322-0.502, all p<=0.001)を上回っている。
第3に、RAGAS、G-Eval、エージェントベンチマークのメトリクスを統一されたパイプラインに組み立てるエンタープライズエージェント評価スイートであるExcess Tool Usageは、唯一の新しい要素である。
BADGERは、クライアントが管理するデータ環境内で完全に動作し、設定可能なLCMジャッジバックエンドをサポートし、クライアント固有のジャッジとメトリクスの迅速なプロトタイピングを可能にし、一度限りの品質ゲートではなく、継続的な評価バックボーンとして機能する。
関連論文リスト
- AgentNLQ: A General-Purpose Agent for Natural Language to SQL [2.224371215696068]
本研究では, BIg Bench for LaRge-scale Databaseベンチマークにおいて, 78.1%のセマンティック精度を実現するNL2のマルチエージェント手法を提案する。
論文 参考訳（メタデータ） (2026-05-18T18:33:15Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems [2.051598597332424]
運用環境におけるテキストからネイティブ(T2native)評価は、既存のベンチマークが対処しない根本的な課題を生じさせる。
本稿では,自然言語入力のみで動作する生産評価システムSTEFを提案する。
STEFは、フィルタアライメント、セマンティック検証、評価器の信頼性を含む合成計量を用いて、解釈可能な0から100の精度スコアを生成する。
論文 参考訳（メタデータ） (2026-04-30T15:59:28Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳（メタデータ） (2026-03-01T16:10:16Z) - Evaluating Retrieval-Augmented Generation Variants for Natural Language-Based SQL and API Call Generation [0.6117371161379209]
大規模言語モデル(LLM)は、コード生成の約束を示すが、ドメイン固有のエンタープライズコンテキストにおけるそれらの有効性はまだ未調査である。
本稿では,3種類のRAGを総合的に評価する。
本研究は,生産級自然言語インタフェースの重要な決定要因として,検索政治設計を確立した。
論文 参考訳（メタデータ） (2026-02-06T08:37:06Z) - LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting [7.590911146338215]
アンサンブル投票(SSEV)を用いたシングルエージェント自己精製法を提案する。
私たちは、エンタープライズデータベースと現実のText-to-Actタスクの複雑さの増加に対処するために、SSEVパイプラインからの洞察に基づいています。
ReCAPAgent-5.5%は、計画、外部知識検索、批評、行動生成、自己修正、スキーマリンク、結果検証のための特殊エージェントを統合している。
論文 参考訳（メタデータ） (2026-01-25T18:38:58Z) - Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。
構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。
これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文 参考訳（メタデータ） (2025-11-25T20:37:59Z) - How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。
エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。
私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
論文 参考訳（メタデータ） (2025-10-10T19:04:28Z) - Agentar-Scale-SQL: Advancing Text-to-SQL through Orchestrated Test-Time Scaling [11.577572131517714]
最先端のSOTA (State-of-the-art) テキスト・トゥ・ザ・アーティカルな手法は、BIRDのような計算ベンチマークの挑戦に関して、人間の専門家よりかなり遅れている。
テスト時間のスケーリングを探求する現在のアプローチでは、組織化された戦略が欠如し、モデルの内部推論プロセスを無視しています。
論文 参考訳（メタデータ） (2025-09-29T07:50:02Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。