論文の概要: AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems
- arxiv url: http://arxiv.org/abs/2610.22511v1
- Date: Thu, 15 Oct 2026 18:05:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.617148
- Title: AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems
- Title（参考訳）: AuditKIT:大規模言語モデルとエージェントシステムのベンチマーク、判断、比較のための統一評価指標
- Abstract要約: 言語モデルとエージェントを評価するには、ベンチマークの正確性、判断に基づく評価、実行時のパフォーマンス、ツール使用行動、検索品質を組み合わせる必要がある。
本稿では、これらの測定結果を1つの結果表現で記録する、ソース可利用評価ライブラリAuditKITを提案する。
エージェントはターンアウェアのツールコールマッチングを提供し、並列実行とシーケンシャル実行を分離し、検証されたタスク結果と軌道レベルの診断を区別する。
検索強化世代では、ランク付けされた検索指標、判断されたグラウンド、決定論的エビデンスチェックを組み合わせる。
- 参考スコア（独自算出の注目度）: 3.0936206240034863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating language models and agents requires combining benchmark accuracy, judge-based assessment, runtime performance, tool-use behavior, and retrieval quality. Differences in interfaces, metric semantics, and trace formats complicate these comparisons and can hide failures in agentic workflows. We present AuditKIT, a source-available evaluation library that records these measurements in one result representation, with direction-aware metric contracts, configuration fingerprints, and extensible metrics and backends. For agents, it provides turn-aware tool-call matching, separates parallel from sequential execution, and distinguishes verified task outcomes from trajectory-level diagnostics. Missing or unobservable evidence is marked unscored rather than counted as failure. For retrieval-augmented generation, it combines ranked retrieval metrics, judged grounding, and deterministic evidence checks. Seven case studies spanning model comparison, serving runtimes, retrieval, tool calling, and interoperability show how answer extraction, runtime behavior, and metric selection change evaluation outcomes.
- Abstract（参考訳）: 言語モデルとエージェントの評価には、ベンチマークの精度、判断に基づく評価、実行時のパフォーマンス、ツール使用行動、検索品質を組み合わせる必要がある。
インターフェース、メトリックセマンティクス、トレースフォーマットの違いはこれらの比較を複雑にし、エージェントワークフローの失敗を隠すことができる。
AuditKITは、方向対応メトリックコントラクト、構成指紋、拡張可能なメトリクスとバックエンドを備えた、これらの測定結果を1つの結果表現で記録する、ソース対応評価ライブラリである。
エージェントはターンアウェアのツールコールマッチングを提供し、並列実行とシーケンシャル実行を分離し、検証されたタスク結果と軌道レベルの診断を区別する。
誤りまたは観察不能な証拠は、失敗として数えられるよりもむしろ無意味である。
検索強化世代では、ランク付けされた検索指標、判断されたグラウンド、決定論的エビデンスチェックを組み合わせる。
モデルの比較、サービス実行、検索、ツール呼び出し、インターオペラビリティに関する7つのケーススタディは、どのように回答の抽出、実行時の振る舞い、メトリック選択が評価結果を変更するかを示している。
関連論文リスト
- AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - Testing and Verification of Quantum Compilers through Assurance Contracts and Evidence [0.25489046505746704]
この調査は、検証済みの変換、等価チェック、差分および変成テスト、プロパティベースのテスト、およびリビジョン間の保証の証拠を比較します。
記録されたカバレッジ更新とソースレベルの選択決定は、レビューを宣言されたスコープ内で監査可能にする。
論文 参考訳（メタデータ） (2026-09-24T01:24:49Z) - Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
論文 参考訳（メタデータ） (2026-09-10T06:20:22Z) - Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。
我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。
我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
論文 参考訳（メタデータ） (2026-08-20T18:16:44Z) - From Agent Traces to Trust: Evidence Tracing and Execution Provenance in LLM Agents [20.651400118242346]
大規模言語モデル(LLM)ベースのエージェントは、外部ツール、検索システム、メモリモジュール、環境、その他のエージェントと相互作用することで、複雑なタスクをますます解決する。
最終回答の精度だけでは、アウトプットがどのように生成されたかは説明できないため、それぞれのクレーム、ツールコールが正当化されたか、後の決定にメモリがどのように影響したか、実行失敗がどこから発生したかといった証拠が裏付けられている。
エビデンストレースと実行の証明は、検索されたエビデンス、ツール出力、メモリアイテム、環境観察、中間クレーム、アクション、最終回答がエージェントの実行を通してどのように接続されているかをモデル化することによって、このギャップに対処する。
論文 参考訳（メタデータ） (2026-06-03T15:12:47Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - BehaviorBox: Automated Discovery of Fine-Grained Performance Differences Between Language Models [55.2480439325792]
本稿では,性能を考慮した文脈埋め込みを用いた言語モデルの自動比較手法を提案する。
提案手法は,2つのLM間の生成容易性について,その相違点を示すコヒーレントな特徴を抽出する。
本研究では,サイズ,モデルファミリ,ポストトレーニングの異なるモデルを比較し,コーパスレベルの難易度だけでは見つからないパフォーマンスの有意義な違いを示す,特定のコンテキストに対する洞察を列挙する。
論文 参考訳（メタデータ） (2025-06-02T19:44:06Z) - How to Evaluate Entity Resolution Systems: An Entity-Centric Framework with Application to Inventor Name Disambiguation [1.7812428873698403]
本稿では,要約統計をモニタリングする統合フレームワークと統合したエンティティ中心のデータラベリング手法を提案する。
これらのベンチマークデータセットは、モデルトレーニングやさまざまな評価タスクに使用できる。
論文 参考訳（メタデータ） (2024-04-08T15:53:29Z) - SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。
文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。
この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文 参考訳（メタデータ） (2022-08-01T17:58:05Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。