論文の概要: SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations
- arxiv url: http://arxiv.org/abs/2606.05563v1
- Date: Thu, 04 Jun 2026 01:19:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.469903
- Title: SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations
- Title（参考訳）: SoCRATES: ドメイン間の積極的LCMメディエーションの信頼性評価と社会認知の変動に向けて
- Authors: Taewon Yun, Hyeonseong Park, Jeonghwan Choi, Hayoon Park, Yeeun Choi, Hwanjun Song,
- Abstract要約: SoCRATESは、現実的なマルチドメインテストベッドにおいて、プロアクティブなLCMメディエータを評価するためのベンチマークである。
8つのドメインにまたがるエージェントパイプラインを通じて、実際の競合からシナリオを構築する。
5つの社会認知適応軸(ストラテジック姿勢、パーティー構成、歴史の長さ、感情的反応性、文化的アイデンティティ)を探索し、トピックローカライズされた評価器で進行する順番にのみ各トピックをスコアする。
- 参考スコア（独自算出の注目度）: 22.051136282030544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating LLM mediators remains challenging, as mediation unfolds as a real-time trajectory shaped by disputants' shifting emotions, intentions, and context. Existing testbeds rely on a few expert-authored domains, vary mainly strategic posture, and score every turn against every topic, introducing off-topic noise. We introduce SoCRATES, a benchmark for evaluating proactive LLM mediators in realistic, multi-domain testbeds. It constructs scenarios from real conflicts through an agentic pipeline across eight domains, probes five socio-cognitive adaptation axes (strategic posture, party composition, history length, emotional reactivity, and cultural identity), and scores each topic only on the turns that advance it via a topic-localized evaluator. The evaluator reaches 0.82 alignment with human experts, more than doubling a per-turn baseline. Benchmarking eight frontier LLMs, we find that even the strongest mediator closes only about a third of the unmediated consensus gap under diverse and realistic testbeds, with performance varying sharply by socio-cognitive axis, highlighting that progress lies in social adaptation to diverse conditions.
- Abstract（参考訳）: LLMメディエーターを評価することは依然として困難であり、調停は反抗者の変化する感情、意図、文脈によって形作られたリアルタイムな軌跡として展開される。
既存のテストベッドは、いくつかの専門家によるドメインに依存しており、主に戦略的な姿勢が異なり、あらゆるトピックに対して各ターンで得点し、オフトピーノイズを発生させる。
本稿では,現実的なマルチドメインテストベッドにおけるプロアクティブLCMメディエータの評価ベンチマークであるSoCRATESを紹介する。
8つの領域にまたがるエージェントパイプラインを通じて実際の対立からシナリオを構築し、5つの社会認知適応軸(戦略姿勢、パーティー構成、歴史の長さ、感情的反応性、文化的アイデンティティ)を探索し、トピックを局所化された評価器を通して前進する順番にのみ各トピックをスコアする。
評価は、ターン当たりのベースラインを倍増するよりも、人間の専門家との一致率が0.82に達する。
8つのフロンティアLSMをベンチマークしたところ、最強の仲介者でさえ、多様で現実的なテストベッドの下では、非媒介の合意ギャップの3分の1しか閉じていないことが判明した。
関連論文リスト
- Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions [62.99524765341952]
ソーシャルメディアのユーザーをシミュレートするために、大規模な言語モデルがますます使われている。
LLMに基づくスタンスシミュレーションを監査するための枠組みとして,反実的文脈修正について検討する。
その結果、テキストのみの戦略とマルチモーダル戦略の両方において、効果的かつ堅牢なスタンス遷移が明らかとなった。
論文 参考訳（メタデータ） (2026-06-04T17:41:54Z) - In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores [20.623498601506974]
標準化されたテストパラダイムは構造的に信頼性が低いことを示す。
制御された変動因子を多ラウンド対話に組み込む多エージェント対話フレームワークMAC-Fairnessを開発した。
In-situの行動評価は、フェアネスの目標と評価方法が異なるベンチマークで一般化できる安定したモデル固有の行動シグネチャを明らかにする。
論文 参考訳（メタデータ） (2026-04-21T18:38:50Z) - Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。
我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。
対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
論文 参考訳（メタデータ） (2026-04-10T09:02:42Z) - MERRY: Semantically Decoupled Evaluation of Multimodal Emotional and Role Consistencies of Role-Playing Agents [41.829135334587626]
MERRYは、ロールプレイングエージェントのマルチモーダル感情とロールの組み合わせを評価するための意味的に分離された評価フレームワークである。
我々は,従来の主観的スコアリング手法を,新たな双方向証拠抽出タスクに変換する。
我々はMERRYに基づいて広範囲な評価を行う。
論文 参考訳（メタデータ） (2026-02-24T02:53:58Z) - DEBATE: A Large-Scale Benchmark for Role-Playing LLM Agents in Multi-Agent, Long-Form Debates [10.609797175227644]
マルチエージェントロールプレイングLLM間の相互作用の信頼性を評価するための,最初の大規模実証的ベンチマークであるDEBATEを紹介する。
我々は,シミュレーション群と真正群との重要な相違点を系統的に評価し,同定した。
論文 参考訳（メタデータ） (2025-10-29T02:21:10Z) - ESC-Judge: A Framework for Comparing Emotional Support Conversational Agents [2.3020018305241337]
ESC-Judgeは,大規模言語モデル(LLM)の最初のエンドツーエンド評価フレームワークである。
ESC-Judge は、クララヒルの確立した探索-洞察-行動カウンセリングモデルにおいて、感情支援 LLM の前後比較を基礎としている。
すべてのコード、プロンプト、合成ロール、書き起こし、判断スクリプトがリリースされ、感情的に支援されるAIの透明な進歩を促進する。
論文 参考訳（メタデータ） (2025-05-18T20:04:59Z) - TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。
既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。
垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
論文 参考訳（メタデータ） (2024-10-15T11:20:42Z) - Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。
我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
論文 参考訳（メタデータ） (2024-05-30T17:19:19Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。