論文の概要: On Evaluating and Improving Conversational Agents in Production
- arxiv url: http://arxiv.org/abs/2609.32092v1
- Date: Fri, 25 Sep 2026 23:55:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 03:19:36.63957
- Title: On Evaluating and Improving Conversational Agents in Production
- Title（参考訳）: 生産における会話エージェントの評価と改善について
- Abstract要約: 本稿では,大規模マルチエージェント型ショッピングアシスタントを生産において評価・改善するためのフレームワークを提案する。
ログ化された会話は、修正されたシステムに対して再生することはできない。
システム自体の動作は、実行時から実行時まで様々である。
- 参考スコア（独自算出の注目度）: 1.9398569798246283
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present a framework for evaluating and improving a large-scale, multi-agent shopping assistant in production, and report lessons from its use. Offline evaluation of such a system faces three obstacles. (i) A logged conversation cannot be replayed against a modified system, because a different response changes every turn that follows. (ii) The unchanged system itself varies from run to run. Its LLM components are stochastic, and in product search the available products, their prices, and the customer's personalization signals change. (iii) Aggregate quality scores combine distinct behaviors, so they show that quality has changed but not which behavior caused the change. Our framework addresses each obstacle in turn. For a reported behavior, an Evaluation Harness generates targeted assertions and a fixed cohort of customer scenarios. It then reproduces the behavior in a local instance of the assistant through grounded user simulation. Instead of replaying the log, the simulator writes new customer turns conditioned on the recorded messages and context. Repeated runs of the unchanged system form a stored baseline. An Improvement Orchestrator turns the assertion results into hypotheses, implements each as an isolated modification, and compares it with the baseline using paired percentile bootstrap intervals over scenario-level differences. When an investigation ends, the harness may propose revisions to future evaluations, subject to human approval and without altering past decisions. We report production investigations with this framework. Assertion profiles showed which positions of a product carousel a failure affected, and repeated runs distinguished a real improvement from run-to-run fluctuation. Audits of the evaluation itself found a judge that lacked the evidence it needed and a model setting that was configured but not applied.
- Abstract（参考訳）: 本稿では,大規模マルチエージェント型ショッピングアシスタントを生産環境において評価・改善するためのフレームワークを提案し,その利用から教訓を報告する。
このようなシステムのオフライン評価には3つの障害がある。
i) ログ化された会話は,次回ごとに異なる応答が変化するため,修正されたシステムに対して再生できない。
(ii) 変更のないシステム自体が実行時から実行時まで様々である。
LLMコンポーネントは確率的であり、製品検索では、利用可能な製品、価格、顧客のパーソナライズ信号が変化する。
3) 集約的品質スコアは, 異なる行動の組合せであり, 品質は変化したものの, どのような行動が変化したかは示さない。
私たちのフレームワークはそれぞれの障害に順番に対処します。
報告された振る舞いに対して、Access Harnessは顧客シナリオのターゲットアサーションと固定されたコホートを生成する。
そして、接地されたユーザーシミュレーションを通じて、アシスタントのローカルインスタンスの振る舞いを再現する。
ログをリプレイする代わりに、シミュレータは記録されたメッセージとコンテキストに条件付きで新しい顧客のターンを書き込む。
変更のないシステムの繰り返し実行は、保存されたベースラインを形成する。
Improvement Orchestratorは、アサーション結果を仮説に変換し、それぞれを独立した修正として実装し、シナリオレベルの違いに対してペアのパーセンタイルブートストラップ間隔を使用してベースラインと比較する。
調査が終了すると、ハーネスは、人間の承認を受け、過去の決定を変更することなく、将来の評価の見直しを提案できる。
本枠組みによる生産調査について報告する。
Assertion profiles showed the position of a product carousel a failure, and repeat run a real improvement from run-to-run fluctuation。
評価自体の監査官は、必要な証拠を欠いた裁判官と、設定されているが適用されていないモデル設定を発見した。
関連論文リスト
- ReplayLens: Auditing Agents' Use of Outcomes [16.745093090677475]
エージェントがログ化された経験を再利用すると、変更した決定は記録されたスコア、アクション名、記憶中のレコードの位置を反映する。
ReplayLensは、保存された履歴の1つの関係を一度に変更し、残りのインターフェイスを固定し、その結果の判断を計測するブラックボックス監査である。
論文 参考訳（メタデータ） (2026-09-28T02:56:32Z) - Designing Reliable LLM-as-a-Judge Measurement Systems for Multi-Turn Business Agents [8.161545709715947]
本稿では,評価仕様,モジュール型LCM判断,ユーザシミュレーションの意図保存,ループ内ガバナンスを対象とする統合手法を提案する。
仕様では、会話レベルのエンドステートと実行可能な障害オーナシップを定義している。
研究によると、繰り返し監査によってシステムレベルの忠実度が向上し、共有フィードバックループの下で人間レビュアーと自動判断器が共に改善し、これらのワークフローが共に報告されたタスク補完設定において最も強い記述的パフォーマンスを示した。
論文 参考訳（メタデータ） (2026-09-27T21:52:05Z) - Evaluating Open-Weight E-Commerce Agents with Environment-Grounded Verification [5.646213674986304]
ショッピング会話は、同じカートへの多くのルートを持ち、タスク・サクセス・レートは、それら全てを1つのスコアに還元する。
決定論的かつ再現可能なeコマース環境を構築し、各トライアルの顧客と軌道パラメータをプリコミットする。
20Bから35Bパラメータのオープンウェイトエージェントが8つあり、1エージェントあたり160のトライアルと44のメトリクスがあり、結果として得られる能力プロファイルは、アンダーアクション、過剰購入、サポート対象の製品属性、貧弱な検索を区別する。
論文 参考訳（メタデータ） (2026-09-14T13:35:32Z) - S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳（メタデータ） (2026-08-31T17:05:41Z) - The RAT: A Unified Bayesian Model for RAG Evaluation [8.650407684623714]
本稿では,検索成功,棄却行動,回答正当性を共同でモデル化するベイズ評価フレームワークを提案する。
フレームワークを3つのデータセット、3つのレトリバー、3つのジェネレータにわたる27のRAG構成に適用する。
我々は、LLM-as-a-judgeアノテーションをキャリブレーションされたノイズ観測として組み込むようモデルを拡張した。
論文 参考訳（メタデータ） (2026-08-25T15:54:30Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。
本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
論文 参考訳（メタデータ） (2026-06-14T21:46:04Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。
本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
論文 参考訳（メタデータ） (2024-08-20T14:29:23Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。