論文の概要: Automated Evaluation of Multi-Turn Dialogues in In-Car Conversational Assistants

• arxiv url: http://arxiv.org/abs/2609.35812v1
• Date: Sun, 20 Sep 2026 08:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.848123
• Title: Automated Evaluation of Multi-Turn Dialogues in In-Car Conversational Assistants
• Title（参考訳）: 自動車内対話アシスタントにおける多言語対話の自動評価
• Abstract要約: カー内対話アシスタント(ICA)は、経路計画、車両制御、情報アクセスをサポートするために、車にますます統合されている。 既存の評価手法では、ターン間の制約処理、コンテキスト保持、安全クリティカルな振る舞いをキャプチャできない。 ICAのマルチターン対話機能をテストするための自動フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.4247389059975302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-car conversational assistants (ICAs) are increasingly integrated into vehicles to support route planning, vehicle control, and information access. Ensuring their reliability is challenging due to multi-turn interactions, the absence of explicit ground truth, and strict safety constraints. Existing evaluation techniques fall short, as they target single-turn settings and fail to capture constraint handling, context retention, and safety-critical behavior across turns. We propose an automated framework for testing the multi-turn conversational capabilities of ICAs. The system is treated as a black box and evaluated via closed-loop simulation with a strategy-guided user simulator, an adversarial strategy manager, and a two-tier LLM judge assessing turn-level failures and conversation-level quality. We evaluate the approach on an industrial ICA with six LLM backends and twelve human annotators. The automated judge shows substantial agreement with humans, and strategy guidance uncovers 2.96 times more unique failure types per conversation and more than doubles the number of unique failing conversations compared to unguided simulation.
• Abstract（参考訳）: カー内対話アシスタント(ICA)は、経路計画、車両制御、情報アクセスをサポートするために、車にますます統合されている。 信頼性の確保は、マルチターンインタラクション、明示的な土台真実の欠如、厳格な安全制約によって困難である。 既存の評価手法は、単一ターンの設定をターゲットとし、制約処理、コンテキスト保持、ターン間の安全クリティカルな振る舞いをキャプチャできないため、短くなる。 ICAのマルチターン対話機能をテストするための自動フレームワークを提案する。 ブラックボックスとして扱われ、戦略誘導型ユーザシミュレータ、敵戦略マネージャ、およびターンレベルの障害と会話レベルの品質を評価する2層LCM判定器を用いてクローズドループシミュレーションにより評価される。 6つのLCMバックエンドと12のアノテータを持つ産業ICAに対するアプローチを評価する。 自動化された審査員は人間とかなりの合意を示し、戦略ガイダンスは会話毎に2.96倍のユニークな失敗タイプを明らかにし、非誘導シミュレーションと比較して、ユニークな失敗する会話の数を2倍以上に増やしている。

関連論文リスト

• The Anatomy of Conversational Scams: A Topic-Based Red Teaming Analysis of Multi-Turn Interactions in LLMs [3.7304174114240545]
  シングルターン安全性評価が達成できないマルチターン会話詐欺の新たなリスクについて検討した。 英語と中国語の8つの最先端モデルを評価する。 その結果, スカム相互作用は繰り返しエスカレーションパターンに従っており, 防御には検証機構と遅延機構が用いられていることがわかった。
  論文  参考訳（メタデータ） (2026-01-06T16:06:04Z)
• AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [2.6799007584079884]
  AutoAdvは、自動マルチターンジェイルブレイクのためのトレーニング不要のフレームワークである。 Llama-3.1-8Bの攻撃成功率は最大95%に達する。
  論文  参考訳（メタデータ） (2025-11-04T08:56:28Z)
• SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
  我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。 安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。 我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
  論文  参考訳（メタデータ） (2025-02-28T21:53:47Z)
• Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents [23.960719833886984]
  M-CoDAL(M-CoDAL)は、安全クリティカルな状況下でのコミュニケーションをよりよく理解するために、実施エージェント向けに設計されたマルチモーダル対話システムである。 提案手法は,2K Reddit画像から抽出した1Kの安全違反を含む,新たに作成されたマルチモーダルデータセットを用いて評価する。 このデータセットで得られた結果は、我々のアプローチが会話の安全性だけでなく、安全状況、ユーザーの感情、および会話の安全性の解決を改善することを実証している。
  論文  参考訳（メタデータ） (2024-10-18T03:26:06Z)
• Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
  Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。 人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。 要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-16T06:06:06Z)
• Automated Red Teaming with GOAT: the Generative Offensive Agent Tester [8.947465706080523]
  Red Teamingは、安全トレーニング中に設定された規範やポリシー、ルールに違反したコンテンツを、大規模な言語モデルがいかに生成できるかを評価する。 文献における既存の自動化手法のほとんどは、人間がAIモデルと対話する傾向を示すものではない。 本稿では,非言語的会話をシミュレートする自動エージェントレッド・チーム・システムであるジェネレーティブ・オッサンティブ・エージェント・テスタ(GOAT)を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T14:47:05Z)
• Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework [87.7482313774741]
  コネクテッド・オートモービルズ(CAV)は世界中の道路試験を開始したが、複雑なシナリオにおける安全性と効率性はまだ十分ではない。 本稿では,対話型かつ学習可能なLLM駆動協調運転フレームワークCoDrivingLLMを提案する。
  論文  参考訳（メタデータ） (2024-09-19T14:36:00Z)
• Overview of Robust and Multilingual Automatic Evaluation Metrics for Open-Domain Dialogue Systems at DSTC 11 Track 4 [51.142614461563184]
  第11回対話システム技術チャレンジ(DSTC11)のこのトラックは、堅牢で多言語による自動評価のメトリクスを促進するために進行中の取り組みの一部である。 本稿では、参加者に提供するデータセットとベースラインについて述べ、提案した2つのサブタスクの提出と結果の詳細について論じる。
  論文  参考訳（メタデータ） (2023-06-22T10:50:23Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。