論文の概要: MADS: Multi-Agent Dialog Simulation for Robust Conversational Agents
- arxiv url: http://arxiv.org/abs/2610.12757v1
- Date: Thu, 08 Oct 2026 22:08:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.289613
- Title: MADS: Multi-Agent Dialog Simulation for Robust Conversational Agents
- Title(参考訳): MADS:ロバスト対話エージェントのためのマルチエージェント対話シミュレーション
- Abstract要約: 我々は、構造化された多様な対話軌道を生成する合成データ生成パイプラインであるMADS(Multi-Agent Dialog Simulation)を提案する。
MADSを用いて、6つのドメイン、55のペルソナ、1095の会話にまたがるベンチマークMADS-Benchを構築する。
教師付き微調整(SFT)と強化学習と検証可能な報酬(RLVR)を組み合わせた2段階の訓練手法を用いて、訓練モデルの堅牢性を評価する。
- 参考スコア(独自算出の注目度): 40.70877518762354
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Task-oriented conversational agents remain fragile under realistic conditions, especially when users exhibit non-cooperative behavior. Existing function-calling benchmarks underrepresent adversarial conversation trajectories, thereby limiting the training resources available for developing robust agents. We present MADS (Multi-Agent Dialog Simulation), a synthetic data generation pipeline that produces structured, diverse dialogue trajectories. We inject adversarial conversation, producing validated conversation trajectories that capture realistic, unhappy paths. Using MADS, we construct MADS-Bench: a benchmark spanning six domains, 55 personas, and 1095 conversations, with approximately 66% of conversations containing failure-prone conversation scenarios. We evaluate the robustness of the trained models using a two-stage training approach that combines supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR).
- Abstract(参考訳): タスク指向の会話エージェントは、特に非協調行動を示す場合、現実的な条件下では脆弱である。
既存の関数呼び出しベンチマークは、敵の会話軌跡を表わさないため、堅牢なエージェントを開発するのに利用可能なトレーニングリソースが制限される。
我々は、構造化された多様な対話軌道を生成する合成データ生成パイプラインであるMADS(Multi-Agent Dialog Simulation)を提案する。
我々は、現実的な、不幸な経路を捉えた、検証された会話軌跡を生成する。
MADSを用いて、6つのドメイン、55のペルソナ、1095の会話にまたがるベンチマークMADS-Benchを構築する。
教師付き微調整(SFT)と強化学習と検証可能な報酬(RLVR)を組み合わせた2段階の訓練手法を用いて,訓練モデルの堅牢性を評価する。
関連論文リスト
- ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation [46.12965137038563]
本稿では,ユーザ,アシスタント,ツールエミュレーションモデルをコーディネートする合成データ生成パイプラインであるToolRACERを提案する。
sysnを用いて、6つのドメインにまたがる堅牢なマルチターン会話ベンチマークであるToolRACERBenchを構築した。
現実的な,堅牢なシナリオをキャプチャする,対話型対話トラジェクトリの検証を行う。
論文 参考訳(メタデータ) (2026-10-06T22:06:17Z) - AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding [73.05946667683259]
最近の大規模言語モデル(MLLM)は、強い認識を示すが、多話者、対話中心の設定に苦戦している。
本質的にエージェント的なタスクを中心に設計されたベンチマークであるAMUSEを紹介します。
我々は、報酬最適化と本質的なマルチモーダル自己評価を統合するデータ効率の高いエージェントアライメントフレームワークRAFTを提案する。
論文 参考訳(メタデータ) (2025-12-18T07:01:47Z) - DialSim: A Dialogue Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversational Agents [26.33695508857177]
対話シミュレーションに基づく評価フレームワークであるDialSimを紹介する。
ダイアルシム(DialSim)では、エージェントが台詞付き会話におけるキャラクターの役割を仮定し、対話履歴のみを用いて自発的な質問に答える能力を評価する。
このフレームワークをサポートするために,LongDialQAを導入した。
DialSimを用いたLLMを用いた会話エージェントの評価では,大局的なコンテキストウィンドウやRAG機能を持つモデルでさえ,長期にわたる多人数インタラクションに対する正確な理解の維持に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2024-06-19T01:37:10Z) - Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。
我々は、各エージェントに画像の共有と反応の能力を持たせる。
生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
論文 参考訳(メタデータ) (2024-02-27T18:42:31Z) - Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。
タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。
DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
論文 参考訳(メタデータ) (2024-01-04T14:36:38Z) - Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。
ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
論文 参考訳(メタデータ) (2023-05-24T14:06:27Z) - GRASP: Guiding model with RelAtional Semantics using Prompt [3.1275060062551208]
本稿では Prompt (GRASP) を用いたRelAtional Semantics を用いた誘導モデルを提案する。
我々は、プロンプトベースの微調整アプローチを採用し、引数を意識したプロンプトマーカー戦略を用いて、ある対話における関係意味的手がかりをキャプチャする。
実験では、DialogREデータセット上でのF1とF1cのスコアの観点から、GRASPの最先端のパフォーマンスが評価された。
論文 参考訳(メタデータ) (2022-08-26T08:19:28Z) - TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented
Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。
事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文 参考訳(メタデータ) (2020-04-15T04:09:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。