論文の概要: SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows
- arxiv url: http://arxiv.org/abs/2607.23123v1
- Date: Sat, 25 Jul 2026 09:55:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.996923
- Title: SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows
- Title（参考訳）: SQBench: 生産指向ワークフローにおける言語モデルエージェントによるタスクデリバリ評価ベンチマーク
- Abstract要約: 本稿では,言語モデルエージェントによる生産指向タスク配信評価のベンチマークであるSQBenchを紹介する。
SQBench v1.0には、L1アトミック機能、L2コンポジットスキル、L3ビジネスシナリオで構成された220の標準化されたタスクが含まれている。
Completion = 1, 113 (4.8%) の 2,348 結果のうち、検証不能な引用、不適切なリソース使用、フォーマット違反などのリスクのために、Strict Pass の基準が満たされない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing evaluations of large language models cover knowledge, reasoning, coding, and tool use, but they rarely treat a verifiable deliverable produced within a constrained workflow as the unit of evaluation. We introduce SQBench, a benchmark for evaluating production-oriented task delivery by language-model agents. SQBench v1.0 contains 220 standardized tasks organized into L1 atomic capabilities, L2 composite skills, and L3 business scenarios. Each task requires an agent to process input assets, use available tools, and produce an explicitly specified deliverable. The evaluation first computes functional Completion and then derives Risk Penalty and Performance from independently evidenced triggers in a 10D Risk Matrix. A Strict Pass requires Completion = 1 and Risk Penalty = 0. We evaluate 27 model configurations under a common protocol, with one run per configuration-task pair. The highest prespecified Weighted Pass@1 is 60.5%. Mean Strict Pass@1 on L3 is 18.5%, and every configuration performs worse on L3 than on both L1 and L2, indicating that delivery under domain constraints is a shared weakness within the current task set. Of 2,348 results with Completion = 1, 113 (4.8%) fail the Strict Pass criterion because of risks such as unverifiable citations, inappropriate resource use, or format violations. These results show that functional completion alone does not fully characterize delivery quality and that risk determinations should be reported separately.
- Abstract（参考訳）: 大規模な言語モデルの既存の評価は、知識、推論、コーディング、ツールの使用をカバーしているが、制約されたワークフロー内で生成された検証可能な成果物を評価単位として扱うことは滅多にない。
本稿では,言語モデルエージェントによる生産指向タスク配信評価のベンチマークであるSQBenchを紹介する。
SQBench v1.0には、L1アトミック機能、L2コンポジットスキル、L3ビジネスシナリオで構成された220の標準化されたタスクが含まれている。
各タスクはエージェントが入力資産を処理し、利用可能なツールを使用し、明示的に指定された成果物を生成する必要がある。
評価はまず機能補完を計算し、10Dリスクマトリックスの独立に証明されたトリガからリスクペナルティとパフォーマンスを導出する。
厳密なパスには完了 = 1 とリスクペナルティ = 0 が必要である。
共通のプロトコルの下で27のモデル構成を評価し,構成とタスクのペア毎に1回実行した。
最も高い指定のWeighted Pass@1は60.5%である。
L3 上の平均 Strict Pass@1 は 18.5% であり、L1 と L2 のどちらよりも構成が悪く、現在のタスクセット内ではドメイン制約下でのデリバリが共有の弱点であることを示している。
Completion = 1, 113 (4.8%) の 2,348 結果のうち、検証不能な引用、不適切なリソース使用、フォーマット違反などのリスクのために、Strict Pass の基準が満たされない。
これらの結果から,機能的完了だけでは納品品質を完全に特徴づけられず,リスク判断を別々に報告すべきであることが示唆された。
関連論文リスト
- Inducing Task Models from Computer-Use Traces [50.6293197430374]
タスクモデルインジェクション(TMI)は、制約のないトレース内の潜在タスクを検出し、同時に動作を停止する。
TMIは、観測された実行ステップの74.9%を再構築している。
TMIのタスクモデルから得られたスキルは、最強のベースラインに対して、ホールドアウトタスクの精度を30.0%向上させる。
論文 参考訳（メタデータ） (2026-08-20T17:57:00Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。
エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。
AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-07-11T00:57:36Z) - Glite ARF: Verifier-Driven Research with Parallel LLM Coding Agents [0.0]
我々は、LLMコーディングエージェントを並列に実行するオープンソースのPythonフレームワークであるGlite ARFを研究レポジトリで紹介する。
人間の研究者は、どの仮説をテストするかを選択し、コーディングエージェントは固定された構造の下で個々のタスクを実装し、決定論的Python検証スクリプトはタスク分離を実行する。
我々はGlite ARFを用いてBEA 2026語彙差分共有タスクに応募し、まずクローズドトラックに、そして3つのターゲット言語でオープントラックに配置した。
論文 参考訳（メタデータ） (2026-06-25T17:52:26Z) - A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。
既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。
我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
論文 参考訳（メタデータ） (2026-05-17T06:14:20Z) - Task-Level AI Readiness Assessment for Business Process Management:The T-IPO Model and LARA Matrix in Financial-Services IT Operations [1.8200820102702586]
金融サービスIT環境で開発された2つのデザインアーティファクトについて述べる。
LLMエージェント準備度評価は、エージェント置換のためのタスクの準備度を評価する。
120タスクインスタンスのパイロットデプロイでは、自動補完はL1で95%ドルからL2で約70%ドルからL3で約40%ドルへと単調に崩壊する。
論文 参考訳（メタデータ） (2026-04-16T10:10:19Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation [3.225273674498579]
我々は,大言語モデルがコンパイルフェーズ中に実行可能なコードアーティファクトを生成するパラダイムであるコンパイルAIについて研究し,その後,さらなるモデル実行を必要とせずに決定的に実行する。
当社のコントリビューションは、ハイテイクなランタイムエンタープライズへの適用に関するシステム指向の研究です。
論文 参考訳（メタデータ） (2026-04-06T20:25:20Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。
AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
論文 参考訳（メタデータ） (2025-05-22T17:31:10Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。