論文の概要: Don't Stop the Multi-Party! On Generating Synthetic Multi-Party Conversations with Constraints

• arxiv url: http://arxiv.org/abs/2502.13592v1
• Date: Wed, 19 Feb 2025 10:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:17.180927
• Title: Don't Stop the Multi-Party! On Generating Synthetic Multi-Party Conversations with Constraints
• Title（参考訳）: 制約付き合成多人数会話の生成について
• Authors: Nicolò Penzo, Marco Guerini, Bruno Lepri, Goran Glavaš, Sara Tonelli,
• Abstract要約: マルチパーティ会話(MPC)は、ソーシャルメディアを主要なデータソースとして、そのアクセシビリティのために広く研究されている。 本研究は,命令調整型大規模言語モデルを用いた多種多様なMPC生成の実現可能性について検討する。
• 参考スコア（独自算出の注目度）: 11.566214724241798
• License:
• Abstract: Multi-Party Conversations (MPCs) are widely studied across disciplines, with social media as a primary data source due to their accessibility. However, these datasets raise privacy concerns and often reflect platform-specific properties. For example, interactions between speakers may be limited due to rigid platform structures (e.g., threads, tree-like discussions), which yield overly simplistic interaction patterns (e.g., as a consequence of ``reply-to'' links). This work explores the feasibility of generating diverse MPCs with instruction-tuned Large Language Models (LLMs) by providing deterministic constraints such as dialogue structure and participants' stance. We investigate two complementary strategies of leveraging LLMs in this context: (i.) LLMs as MPC generators, where we task the LLM to generate a whole MPC at once and (ii.) LLMs as MPC parties, where the LLM generates one turn of the conversation at a time, provided the conversation history. We next introduce an analytical framework to evaluate compliance with the constraints, content quality, and interaction complexity for both strategies. Finally, we assess the quality of obtained MPCs via human annotation and LLM-as-a-judge evaluations. We find stark differences among LLMs, with only some being able to generate high-quality MPCs. We also find that turn-by-turn generation yields better conformance to constraints and higher linguistic variability than generating MPCs in one pass. Nonetheless, our structural and qualitative evaluation indicates that both generation strategies can yield high-quality MPCs.
• Abstract（参考訳）: マルチパーティ会話(MPC)は、ソーシャルメディアがアクセシビリティーのため、主要なデータソースとして広く研究されている。 しかしながら、これらのデータセットはプライバシの懸念を高め、しばしばプラットフォーム固有のプロパティを反映する。 例えば、話者間の相互作用は、厳密なプラットフォーム構造(例えばスレッド、木のような議論)によって制限され、過度に単純化された相互作用パターン(例えば 'reply-to'' リンクの結果)をもたらす。 本研究は,対話構造や参加者の姿勢といった決定論的制約を提供することにより,命令調整型大規模言語モデル(LLM)による多様なMPCの生成の可能性を検討する。 この文脈でLLMを利用するための2つの補完的戦略について検討する: (i) LLMをMPCジェネレータとして、 (ii) LLMをMPCパーティとして、 (ii) LLMを一度に1ターンの会話を生成し、会話履歴を提供する。 次に、両戦略の制約、コンテンツ品質、相互作用の複雑さに対するコンプライアンスを評価するための分析フレームワークを紹介します。 最後に、人間のアノテーションとLCM-as-a-judge評価を用いて、得られたMPCの品質を評価する。 LLMでは,高品質なMPCを生成できるものもいくつかあるが,大きな違いがある。 また, ターンバイターン生成は1パスでMPCを生成するよりも制約に適合し, 言語性も高いことがわかった。 それにもかかわらず、構造的および定性的な評価は、両方の生成戦略が高品質なMPCを生み出すことを示唆している。

関連論文リスト

• When One LLM Drools, Multi-LLM Collaboration Rules [98.71562711695991]
  私たちは、データ、スキル、人々の幅広い多様性を表現するために、マルチLLMコラボレーションを議論しています。 既存のマルチLLM協調手法を,アクセスレベルと情報交換レベルに基づいて階層構造に整理する。 コンポジションインテリジェンスとコラボレーティブAI開発への不可欠な道として,マルチLLMコラボレーションを構想する。
  論文  参考訳（メタデータ） (2025-02-06T21:13:44Z)
• Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues [3.2162648244439684]
  本研究では,対話における応答の共感を測り,評価する上で,大規模言語モデルがいかに効果的かを調べるための枠組みを開発する。 我々の戦略は、最新かつ微調整されたLLMの性能を明示的で説明可能な特徴で近似することである。 以上の結果から,組込みのみを用いる場合,ジェネリックLLMに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-28T20:37:57Z)
• Multi-Party Supervised Fine-tuning of Language Models for Multi-Party Dialogue Generation [11.340007143339657]
  大規模言語モデル(LLM)は通常、ダイアディックや二者対話に参加するために微調整される。 本研究では,多人数対話データセットに基づくLLMのためのマルチパーティファインチューニングフレームワーク (MuPaS) を設計する。
  論文  参考訳（メタデータ） (2024-12-06T09:33:47Z)
• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Robots in the Middle: Evaluating LLMs in Dispute Resolution [0.0]
  大規模言語モデル(LLM)が紛争の会話を分析し、適切な介入タイプを選択し、適切な介入メッセージを生成することができるかどうかを検討する。 我々の結果は、オンライン紛争解決(ODR)プラットフォームにAIを統合する可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T16:51:10Z)
• Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
  従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。 これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。 クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
  論文  参考訳（メタデータ） (2024-06-22T03:20:10Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
  本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。 そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-20T16:53:51Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。