論文の概要: SIT-Eval: Situation-Based Interactive Turn-by-Turn Evaluation of Conversational Agents
- arxiv url: http://arxiv.org/abs/2610.23612v1
- Date: Fri, 16 Oct 2026 15:24:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.987698
- Title: SIT-Eval: Situation-Based Interactive Turn-by-Turn Evaluation of Conversational Agents
- Title（参考訳）: SIT-Eval:会話エージェントの状況に応じた対話型ターンバイターン評価
- Abstract要約: SIT-Evalは状況に基づく会話エージェントを評価するための調整可能なフレームワークである。
各会話ターンでは、LLMインターロカタが一様にサンプリングされた状況を実行する。
LLM-judgeは、条件に適合するすべてのルールを基準として利用し、その状況に対するエージェントの応答を評価する。
- 参考スコア（独自算出の注目度）: 0.12152327755011348
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The rapid proliferation of conversational AI agents necessitates evaluation methods that assess performance across diverse dialogue scenarios, utilizing multiple situational criteria, as appropriate behavior depends on context and encompasses various aspects. Existing dialogue benchmarks typically use static natural conversations, which underrepresent rare situations---a critical safety gap, as low-probability events become frequent failures at production scale. However, limited sample sizes force a choice: either maintain natural dialogues for realism or turn to adaptive situation sampling for comprehensive yet statistically reliable coverage. We introduce SIT-Eval, an adjustable framework for evaluating situation-based conversational agents. We formalize an agent's desired behavior as situational rules: if situation is P, follow rules Q. At each conversation turn, an LLM-interlocutor enacts a uniformly sampled situation. A context-aware LLM-judge leverages all conditionally applicable rules as criteria to evaluate the agent's reply for that situation. The judge is validated using human-verified synthetic golden dialogues. Benchmarking 8 LLMs on 1292 conversation turns reveals failure modes hidden by aggregate metrics: models with similar overall scores vary widely in their adherence to individual rules. All models struggle most with ambiguity clarification and Socratic questioning.
- Abstract（参考訳）: 会話AIエージェントの急速な普及は、さまざまな対話シナリオにおけるパフォーマンスを評価するための評価方法を必要とし、適切な振る舞いはコンテキストに依存し、様々な側面を包含する。
既存のダイアログベンチマークでは、通常、静的な自然な会話を使用します。
しかし、限定的なサンプルサイズは、現実主義のための自然な対話を維持するか、包括的かつ統計的に信頼できるカバレッジのための適応的な状況サンプリングに切り替える、という選択を迫られる。
SIT-Evalは、状況に応じた会話エージェントを評価するための調整可能なフレームワークである。
エージェントの望ましい振る舞いを状況ルールとして定式化し、状況がPなら規則Qに従う。
LLM-judgeは、条件に適合するすべてのルールを基準として利用し、その状況に対するエージェントの応答を評価する。
審査員は、人間の検証された合成ゴールデンダイアログを用いて検証される。
1292の会話で8 LLMをベンチマークすると、集約されたメトリクスによって隠された障害モードが明らかになる。
すべてのモデルは曖昧さの明確化とソクラテス的疑問に最も苦労している。
関連論文リスト
- Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions [62.99524765341952]
ソーシャルメディアのユーザーをシミュレートするために、大規模な言語モデルがますます使われている。
LLMに基づくスタンスシミュレーションを監査するための枠組みとして,反実的文脈修正について検討する。
その結果、テキストのみの戦略とマルチモーダル戦略の両方において、効果的かつ堅牢なスタンス遷移が明らかとなった。
論文 参考訳（メタデータ） (2026-06-04T17:41:54Z) - DRInQ: Evaluating Conversational Implicature with Controlled Context Variation [24.87053225680957]
質問文における会話不規則に関する現実的推論を評価するためのベンチマークであるDRinQを紹介する。
本稿では,体系的変動を伴う質問文解釈インスタンスを生成する半自動パイプラインを提案する。
論文 参考訳（メタデータ） (2026-05-22T22:39:32Z) - AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence [1.7294100412670375]
感情知性(EI)は人間のコミュニケーションの中心であり、評価することがますます重要になっている。
AttuneBenchは200個の真のマルチターンヒューマンモデル会話をベースとしたベンチマークである。
感情認識,行動分類,嗜好予測,判断された応答品質のモデルランキングは,ほぼ独立していることがわかった。
論文 参考訳（メタデータ） (2026-05-20T21:06:05Z) - In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores [20.623498601506974]
標準化されたテストパラダイムは構造的に信頼性が低いことを示す。
制御された変動因子を多ラウンド対話に組み込む多エージェント対話フレームワークMAC-Fairnessを開発した。
In-situの行動評価は、フェアネスの目標と評価方法が異なるベンチマークで一般化できる安定したモデル固有の行動シグネチャを明らかにする。
論文 参考訳（メタデータ） (2026-04-21T18:38:50Z) - From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems [8.8953040142657]
本研究では,タスクが直接の事実クエリから会話的判断タスクにリフレームされると,LCMの信念がどう変化するかを検討する。
両条件に単純な反論(前の答えは正しくない)の形で圧力を適用する。
以上の結果から, GPT-4o-miniのようなモデルでは, 社会的フレーミング作業下でのシコファン性傾向が明らかにされているが, Llama-8B-Instructのようなモデルでは過度に批判的になる。
論文 参考訳（メタデータ） (2025-11-14T00:55:28Z) - Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。
ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
論文 参考訳（メタデータ） (2025-03-06T18:59:16Z) - Few-shot Policy (de)composition in Conversational Question Answering [54.259440408606515]
本稿では,大規模言語モデル(LLM)を用いて数ショット設定でポリシーコンプライアンスを検出するニューラルシンボリックフレームワークを提案する。
提案手法は,回答すべきサブクエストを抽出し,文脈情報から真理値を割り当て,与えられたポリシーから論理文の集合を明示的に生成することで,政策コンプライアンスに関する会話に対して健全な理由を示す。
本手法は,PCDおよび会話機械読解ベンチマークであるShARCに適用し,タスク固有の微調整を伴わずに競合性能を示す。
論文 参考訳（メタデータ） (2025-01-20T08:40:15Z) - Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training [33.57497419019826]
アクションベースのコントラスト自己学習は、多ターン会話モデリングにおけるデータ効率のよい対話ポリシー学習を可能にする。
動作ラベルがない場合でも、データ効率のよいチューニングシナリオにおいてACTの有効性を実証する。
また,会話におけるあいまいさを暗黙的に認識し,説明できるかどうかを調べることで,LLMが会話エージェントとして機能する能力を評価することを提案する。
論文 参考訳（メタデータ） (2024-05-31T22:44:48Z) - DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
統合された自動評価フレームワークDynaEvalを提案する。
ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。
実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
論文 参考訳（メタデータ） (2021-06-02T12:23:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。