ProMediConv: Benchmarking Proactive Conversational Agents in Legal Dispute Mediation
Abstractの概要
ProMediConvは、調停を単なる受動的な会話ではなく、プロアクティブで多段階、多者間の対話プロセスとしてモデル化する法的紛争調停のためのベンチマークです。本フレームワークは3つの調停段階、11の調停戦略、4つの当事者行動パターン（BP）状態を定義し、発話レベルの戦略およびBPのアノテーションが付与された972件の実世界の調停事例から再構築された高忠実度データセットと組み合わされています。また、結果のみに着目した評価の限界に対処するため、対話内における当事者のBP状態の変化を測定するよう設計された指標であるMAD（Mean Attribute Difference）を導入しています。著者らはこの設定を用いて汎用LLM、法分野特化型LLM、および訓練済みベースラインエージェントを評価し、調停指向の対話システムにおける現在の能力と限界を検証しています。
新規性
本論文の主な新規性は、現実的な法的調停ベンチマーク、実際の事例から構築されたアノテーション付きデータセット、および対話中の当事者状態の変化を追跡するプロセス重視の評価指標を統合した点にあります。プロアクティブかつ戦略駆動型の多者間調停を明示的にモデル化し、MADを用いてエージェントが表面的な最終結果を達成するだけでなく紛争当事者の行動パターンを有意に変化させているかを定量化している点に独自性があります。
成果
ベンチマーク実験全体を通じて、現在の汎用LLMや法分野特化型LLMは複雑な調停において苦戦しており、プロンプトベースのポリシー計画手法はトークンコストを増大させる一方で不安定な改善にとどまることが示されました。著者らが訓練したベースラインであるProMediAgentは、主要評価において報告された中で最良のSR@t（0.9071）、AT（10.34）、SSR（0.9428）の値を達成しました。さらなる分析により、MADは効率重視の指標が見落とす質の差異を捉え、表面的な短絡的解決を暴き、SR@tよりも人間の成功判断と強く相関することが実証されています。
論文の注目点
- ProMediConvは、法的調停を11の調停戦略と4つのBP状態を持つプロアクティブな3段階の多者間対話タスクとして定式化している。
- データセットには発話レベルのアノテーションが付与された972件の実世界事例が含まれ、簡略化または合成された調停設定よりも高い現実性と規模を提供する。
- MADは当事者の状態変化を測定することで調停の質をより詳細に把握可能にし、標準的な成功率やターン数ベースの指標が見落とす品質上の限界を明らかにする。