論文の概要: CXBench: A Benchmark for Process-Compliant LLM Agents in Regulated Customer-Experience Workflows

• arxiv url: http://arxiv.org/abs/2610.25954v1
• Date: Mon, 19 Oct 2026 07:46:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:20:13.72113
• Title: CXBench: A Benchmark for Process-Compliant LLM Agents in Regulated Customer-Experience Workflows
• Title（参考訳）: CXBench: 規制された顧客エクスペリエンスワークフローにおけるプロセス互換のLLMエージェントのベンチマーク
• Abstract要約: 6つの規制領域にまたがる結果とプロセスコンプライアンスを評価するベンチマークであるベンチを導入する。 各タスクは、顧客の要求、ツールベースの環境、明示的なプロセス要件を組み合わせる。 ハイブリッドグレーダは、注文と権限の決定論的チェックとセマンティック要件の判断を結合する。
• 参考スコア（独自算出の注目度）: 9.736727028658718
• License:
• Abstract: Tool-using language agents increasingly perform regulated customer-service workflows, where a correct final state is insufficient: agents must also provide disclosures, obtain consent, and follow required procedures. Existing tool-agent benchmarks largely score final business states, accepting trajectories that reach correct outcomes through non-compliant processes. We introduce cxbench, a benchmark that evaluates outcome and process compliance separately across six regulated domains. Each task combines a customer request, a tool-based environment, and explicit process requirements. Rule cards link cited regulatory obligations to observable trace evidence. A hybrid grader combines deterministic checks for ordering and authority with an LLM judge for semantic requirements. We define a false-pass as an outcome-pass run that fails process checks. Across seven models and 120 tasks, 55.5% of the 840 retained executions are false-passes, representing 80.1% of outcome-passing runs; only 13.8% pass both checks. Process-inclusive evaluation changes the observed model ordering and exposes differences hidden by outcome-only scoring. cxbench makes these failures inspectable through trace-linked criteria.
• Abstract（参考訳）: ツールを使用する言語エージェントは、適切な最終状態が不十分な、規制された顧客サービスワークフローをますます実行します。 既存のツールエージェントベンチマークは、ほとんど最終ビジネス状態を記録し、非準拠のプロセスを通じて正しい結果に達する軌道を受け入れます。 cxbenchは、6つの規制されたドメインにまたがって結果とプロセスのコンプライアンスを別々に評価するベンチマークである。 各タスクは、顧客の要求、ツールベースの環境、明示的なプロセス要件を組み合わせる。 ルールカードは、追跡可能な証拠を観察するための規制義務を引用している。 ハイブリッドグレーダは、順序付けと権限に関する決定論的チェックと、意味的要求に対するLLM判断とを組み合わせる。 プロセスチェックをフェールさせる結果パスランとして、偽パスを定義します。 7つのモデルと120のタスクのうち、55.5%が偽パスであり、結果パスの80.1%を占めており、どちらも13.8%しかパスしていない。 プロセス包括的評価は、観察されたモデルの順序を変更し、結果のみのスコアリングによって隠された違いを公開する。 cxbenchは、トレースリンクされた基準でこれらの障害を検査できるようにする。

関連論文リスト

• RAC: A Relational Agent Contract for Constraint-Governed Engineering Tasks [23.46151626569377]
  我々は、エンジニアリングエージェントのアクションおよびフィードバック層のためのハーネスに依存しない契約であるRACを紹介する。 信頼できる観察、セマンティックアクション、ツールベースの実現、独立した検証、そして修復証拠を指定する。 PCBの配置、ルーティング、修理作業において、RACは9つの評価されたモデルすべてに対して、平均90.9%のクリーンパス率を達成した。
  論文  参考訳（メタデータ） (2026-10-14T21:02:57Z)
• Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
  我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
  論文  参考訳（メタデータ） (2026-10-13T17:22:58Z)
• RGDT-Bench: Benchmarking LLM Reasoning for Rule-Governed Decisions and Their Justifications [26.65087797852919]
  ルール統治決定タスク(RGDT)における推論に関する研究 RGDTは、規則とその適用可能性の解釈、証拠からの条件の評価、規則と例外に基づく判断の組み合わせ、そしてチェック可能な正当化の提供を必要とする。 RGDT-Benchを導入し、4つのタスクトラックと8つのタスク-プローブの組み合わせで202.1Kの条件レベルの監視スロットを提供する。
  論文  参考訳（メタデータ） (2026-09-28T07:13:04Z)
• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• ContractEval: Query-Conditioned Execution Matching for Procedural Instruction Conformance [2.547425976804939]
  手続き的義務を明確にするための診断フレームワークであるConTRACTEVALを紹介する。 これは、手続き的な指示をクエリアクティブな義務として表現し、それらを応答や痕跡証拠と照合する。 ContractEvalはコンプライアンス保証ではない。最終回答の品質を暗黙にするのではなく、手続き順応を監査可能にする。
  論文  参考訳（メタデータ） (2026-09-08T21:21:16Z)
• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making [0.7699235580548228]
  DFAH-Benchは、金融業者の意思決定における観測可能な行動不安定性を測定するリプレイベンチマークである。 同じツールパスに従っている間、フロンティアモデルは95%の時間で決定に合意できるのは77%に過ぎません。 入力によらず1つの出力に崩壊することでほぼ完全な一致を達成できるパターンマッチング,比較的一貫したツール使用プロセスを持つ安定した実行器,そして物質的に異なるツールパスとエビデンスコンタクトを通じて同じ結論に達する軌道分岐器の3つの挙動プロファイルを同定する。
  論文  参考訳（メタデータ） (2026-06-10T03:31:09Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。