論文の概要: R2A-Sales: A Policy-Atom-Matched Benchmark for Rule-to-Action Gaps in Goal-Directed Sales Agents
- arxiv url: http://arxiv.org/abs/2610.34185v1
- Date: Sun, 25 Oct 2026 09:45:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.553956
- Title: R2A-Sales: A Policy-Atom-Matched Benchmark for Rule-to-Action Gaps in Goal-Directed Sales Agents
- Title（参考訳）: R2A-Sales: 目標指向販売エージェントのルール・ツー・アクション・ギャップに対するポリシ・Atomマッチングベンチマーク
- Abstract要約: R2A-セール(R2A-Sales)は、販売エージェントを評価するための政策原子マッチングベンチマークである。
各アイテムは、同一のバージョンのポリシーアトムを共有するマルチターンセールスシナリオと静的プローブをペアリングする。
対話的なアームでは、コード所有の台帳がツールエフェクトと端末状態にコミットする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: LLM-based sales agents are often evaluated on static policy questions or task success, but deployment asks a sharper question: when a model can state a rule, will it choose compliant, tool-grounded actions under commercial pressure? We introduce R2A-Sales (Rule-to-Action), a policy-atom-matched benchmark for this question. Each item pairs a static probe with a multi-turn sales scenario sharing the same versioned policy atom, facts, evidence, behavioral constraints, and tool contract, so differences cannot be attributed to policy-content mismatch. In the interactive arm, a code-owned ledger verifies committed tool effects and terminal states; unsupported action claims receive no credit. We report static compliance $K$, grounded action compliance $A=\Pr(\text{safe terminal}\land\text{no hard violation}\land\text{non-echo})$, and the matched gap $G=K-A$. The frozen release spans three controlled Chinese-language sales domains, 24 policy atoms, 42 semantic cores, and 2,016 matched pairs. The confirmatory study audits 21,888 runs over 19 cores, covering eight backbones plus four Qwen3-8B prompt treatments (12 configurations). Static compliance is near ceiling $(K=89.9\%\text{--}99.1\%)$, yet eight-backbone action compliance is only $A=3.0\%\text{--}17.3\%$, giving $G=80.4\text{--}92.5$ percentage points. Since $A$ also requires safe termination, $G$ upper-bounds rule-to-action degradation rather than isolating pressure alone. No prompt-only treatment dominates all metrics. R2A-Sales shows that sales-agent reliability must be measured at committed action, not rule recital or task completion alone.
- Abstract（参考訳）: LLMベースのセールスエージェントは、静的ポリシーの質問やタスクの成功に基づいて評価されることが多いが、デプロイでは、よりシャープな疑問が投げかけられている。
本稿では,政策原子マッチングベンチマークR2A-Sales(Rule-to-Action)を紹介する。
各アイテムは、同一のバージョンのポリシーアトミック、事実、エビデンス、行動制約、ツールコントラクトを共有するマルチターン販売シナリオと静的プローブをペアリングする。
対話的なアームでは、コード所有の台帳がコミットされたツールエフェクトと端末状態を検証する。
我々は、静的コンプライアンス$K$、接地されたアクションコンプライアンス$A=\Pr(\text{safe terminal}\land\text{no hard violation}\land\text{non-echo})$、マッチしたギャップ$G=K-A$を報告します。
フリーズリリースは、3つの管理された中国語のセールスドメイン、24のポリシー原子、42のセマンティックコア、2,016のマッチしたペアで構成されている。
21,888は19コア以上で動作し、8つのバックボーンと4つのQwen3-8Bプロンプト治療(12のコンフィグレーション)をカバーしている。
静的なコンプライアンスは天井に近い$(K=89.9\%\text{--}99.1\%)$だが、8つのバックボーンのアクションコンプライアンスはたったの$A=3.0\%\text{--}17.3\%$であり、$G=80.4\text{--}92.5$%である。
また、$A$は安全な終了も要求するので、$G$は圧力のみを分離するのではなく、上界のルール・ツー・アクションの劣化を要求する。
プロンプトのみの処置がすべての指標を支配することはない。
R2A-Salesは、セールスエージェントの信頼性は、ルールリサイタルやタスク完了のみではなく、コミットアクションで測定する必要があることを示している。
関連論文リスト
- NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents [0.0]
NOMOSは自然言語ポリシーを決定論的ツールコールゲートに変える。
AgentDojoの出荷されたディフェンスとは異なり、銀行に対する攻撃成功率(ASR)はゼロである。
論文 参考訳（メタデータ） (2026-10-08T00:23:22Z) - Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。
StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。
StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
論文 参考訳（メタデータ） (2026-09-26T08:54:21Z) - An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
最初の要件駆動型候補ソーシングエージェントであるsysを提示する。
それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。
広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
論文 参考訳（メタデータ） (2026-08-24T17:04:16Z) - Fixed-order postselected CHSH reference acquisition for parity-constrained spatial-mode qubits on a commercial cloud photonic processor [0.0]
我々は,Quandelaの商用クラウドアクセス可能なベレノスプロセッサ上で,2つの符号化されたフォトニックキュービットに対して,Clauser-Horne-Shimony-Holt (CHSH) の取得と報告を行う。
各論理キュービットは、8モードの単一光子レジスタの7次元ゼロサムセクターにおける2次元空間モード部分空間である。
論文 参考訳（メタデータ） (2026-08-13T01:08:02Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳（メタデータ） (2026-08-04T06:01:14Z) - One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。
我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
論文 参考訳（メタデータ） (2026-07-30T14:52:36Z) - Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks [10.839956062772792]
3つのエージェントセーフティベンチマークは同じ18モデルのランクが異なる。
AgentHarmの安全性に対するR-Judgeの特異性は、$-0.64$ at $n=7$と$+0.02$ at $n=18$と相関しており、ランダムサイズ7サブセットの4分の1は、そのほぼゼロの値の周りで$|| geq 0.5$に達する。
AgentHarmは、最強のホールトアウト・アソシエーションである$=+0.72$で、制御能力の後に3段階のジェイルブレイクの安全性を示す。
論文 参考訳（メタデータ） (2026-07-30T03:45:10Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。
我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
論文 参考訳（メタデータ） (2026-01-15T18:58:33Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。