論文の概要: Designing Reliable LLM-as-a-Judge Measurement Systems for Multi-Turn Business Agents
- arxiv url: http://arxiv.org/abs/2609.33955v1
- Date: Sun, 27 Sep 2026 21:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 08:22:29.068027
- Title: Designing Reliable LLM-as-a-Judge Measurement Systems for Multi-Turn Business Agents
- Title（参考訳）: LLM-as-a-Judge 測定システムの設計
- Abstract要約: 本稿では,評価仕様,モジュール型LCM判断,ユーザシミュレーションの意図保存,ループ内ガバナンスを対象とする統合手法を提案する。
仕様では、会話レベルのエンドステートと実行可能な障害オーナシップを定義している。
研究によると、繰り返し監査によってシステムレベルの忠実度が向上し、共有フィードバックループの下で人間レビュアーと自動判断器が共に改善し、これらのワークフローが共に報告されたタスク補完設定において最も強い記述的パフォーマンスを示した。
- 参考スコア（独自算出の注目度）: 8.161545709715947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many LLM-as-a-judge evaluations score fixed outputs under a fixed task definition. Production multi-turn business agents instead require a maintained measurement system: correctness depends on business-specific facts and procedures, outcomes emerge across turns, and failures must be attributed to either agent capability or missing business knowledge before they are actionable. We present an integrated methodology spanning evaluation specification, modular LLM judges, intent-preserving user simulation, and human-in-the-loop governance. The specification defines conversation-level end states and actionable failure ownership. Atomic judges share versioned evidence and feed an explicit aggregation graph. The simulator is released only after task-preservation and stability checks. Independent human audits estimate measurement fidelity, renew tiered reference sets, and route disagreements to label correction, guideline revision, or judge improvement. Production studies show that system-level fidelity improved across repeated audits, that human reviewers and automated judges improved together under the shared feedback loop, and that their combined workflow had the strongest descriptive performance in both reported task-completion settings. Because the studies are observational and the human reference itself required revision, these findings demonstrate operational usefulness rather than causal or universal superiority. The contribution is a practical framework for making multi-turn agent measurement reliable, actionable, and maintainable as the evaluated system and its evidence evolve.
- Abstract（参考訳）: 多くのLCM-as-a-judge評価は、固定タスク定義の下で一定の出力をスコアする。
正確さはビジネス固有の事実や手続きに依存し、成果はターン毎に現れ、失敗はエージェント能力またはビジネス知識の欠如によるものでなければならない。
本稿では,評価仕様,モジュール型LCM判断,ユーザシミュレーションの意図保存,ループ内ガバナンスを対象とする統合手法を提案する。
仕様では、会話レベルのエンドステートと実行可能な障害オーナシップを定義している。
原子裁判官は、バージョン付きエビデンスを共有し、明示的なアグリゲーショングラフをフィードする。
シミュレータはタスク保存と安定性チェックの後にのみリリースされる。
独立した人間監査は、測定精度を推定し、連結された基準セットを更新し、ラベル修正、ガイドライン修正、または審査改善に対するルート不一致を判断する。
生産研究では、繰り返し監査によってシステムレベルの忠実度が向上し、共有されたフィードバックループの下で、人間レビュアーと自動判断器が共に改善し、これらのワークフローの組み合わせが、報告されたタスク補完設定において、最も強力な記述的パフォーマンスを持つことが示されている。
これらの研究は観察的であり、人為的基準自体が修正を必要とするため、因果的・普遍的な優越性よりも、運用上の有用性を示す。
この貢献は、評価システムとその証拠が進化するにつれて、マルチターンエージェントを信頼性、動作可能、維持可能にするための実践的な枠組みである。
関連論文リスト
- Where Cyber Agents Struggle: Bottleneck Analysis of Multi-Stage LLM Agents [1.3331647120165038]
マルチステージのLSMベースのサイバーエージェントは、不安定なまま攻撃を完了し、コストがかかるか、実行証拠の誤った解釈に依存している。
本稿では,企業の側方移動シナリオにおいて,オーケストレータ,エグゼキュータ,検証器を併用した自律アドバイザリーシステムのエンドツーエンドの診断研究について述べる。
論文 参考訳（メタデータ） (2026-09-23T11:58:25Z) - From Matching Models to Recruiting Agents: A Systematized Narrative Review of AI Recruitment Systems, Evaluation, and Governance [1.436449142247059]
このレビューは、ニューラル・パーソナリティ・マッチングによる双方向の検索と行動ランキングから発展を辿る。
類似性から相互適合性、モデルから複合ワークフロー、オフライン予測からエビデンスと生産性に整合した評価という3つの組み合わせの遷移を分析した。
評価証拠から最強の証明可能なクレームへのステージマッピングと,相互性,エビデンス,時間的制御,選択的,監査可能なシステムに関するアジェンダを導入する。
論文 参考訳（メタデータ） (2026-09-03T08:46:03Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Case-Aware LLM-as-a-Judge Evaluation for Enterprise-Scale RAG Systems [0.0]
企業向けマルチターンRAGシステムのためのケースアウェア LLM-as-a-Judge 評価フレームワークを提案する。
このフレームワークは、検索品質を分離する8つの運用上の基準を使用して、各ターンを評価し、忠実度、答えユーティリティ、精度の整合性、ケース/ワークフローアライメントを判定する。
論文 参考訳（メタデータ） (2026-02-23T21:37:06Z) - MAS-ProVe: Understanding the Process Verification of Multi-Agent Systems [59.20800753428596]
マルチエージェントシステム(MAS)におけるプロセス検証の系統的研究であるMAS-ProVeを提案する。
本研究は3つの検証パラダイム(LLM-as-a-Judge、報酬モデル、プロセス報酬モデル)にまたがる。
プロセスレベルの検証は、常に性能を改善しておらず、しばしば高いばらつきを示す。
論文 参考訳（メタデータ） (2026-02-03T03:30:36Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents [0.0]
本研究では,AIエージェントを用いた高度に構造化された企業文書の自動レビューのためのモジュール型マルチエージェントシステムを提案する。
LangChain、CrewAI、TruLens、Guidanceといった現代的なオーケストレーションツールを使用して、文書のセクション単位での評価を可能にする。
99%の情報一貫性(人間の場合は92%)を実現し、エラーとバイアス率を半減させ、1文書あたりの平均レビュー時間を30分から2.5分に短縮する。
論文 参考訳（メタデータ） (2025-06-23T17:46:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。