論文の概要: PMIScore: An Unsupervised Approach to Quantify Dialogue Engagement

• arxiv url: http://arxiv.org/abs/2603.13796v1
• Date: Sat, 14 Mar 2026 07:05:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.414265
• Title: PMIScore: An Unsupervised Approach to Quantify Dialogue Engagement
• Title（参考訳）: PMIScore:対話のエンゲージメントを定量化するための教師なしアプローチ
• Authors: Yongkang Guo, Zhihuan Huang, Yuqing Kong,
• Abstract要約: エンゲージメントの信頼性は、大きな言語モデルをベンチマークしたり、人間とコンピュータの相互作用の有効性を高めたり、個人のコミュニケーションスキルを向上させるのに役立つ。 本稿では,対話エンゲージメントの定量化に有効な非教師なし手法PMIScoreを提案する。 これは、会話履歴に基づいて応答条件を生成する確率であるポイントワイド相互情報(PMI)を使用する。
• 参考スコア（独自算出の注目度）: 4.918475652519622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High dialogue engagement is a crucial indicator of an effective conversation. A reliable measure of engagement could help benchmark large language models, enhance the effectiveness of human-computer interactions, or improve personal communication skills. However, quantifying engagement is challenging, since it is subjective and lacks a "gold standard". This paper proposes PMIScore, an efficient unsupervised approach to quantify dialogue engagement. It uses pointwise mutual information (PMI), which is the probability of generating a response conditioning on the conversation history. Thus, PMIScore offers a clear interpretation of engagement. As directly computing PMI is intractable due to the complexity of dialogues, PMIScore learned it through a dual form of divergence. The algorithm includes generating positive and negative dialogue pairs, extracting embeddings by large language models (LLMs), and training a small neural network using a mutual information loss function. We validated PMIScore on both synthetic and real-world datasets. Our results demonstrate the effectiveness of PMIScore in PMI estimation and the reasonableness of the PMI metric itself.
• Abstract（参考訳）: ハイダイアログの関与は効果的な会話の重要な指標である。 エンゲージメントの信頼性は、大きな言語モデルをベンチマークしたり、人間とコンピュータの相互作用の有効性を高めたり、個人のコミュニケーションスキルを向上させるのに役立つ。 しかし、エンゲージメントの定量化は、主観的であり、"金の標準"を欠いているため、難しい。 本稿では,対話エンゲージメントの定量化に有効な非教師なし手法PMIScoreを提案する。 これは、会話履歴に基づいて応答条件を生成する確率であるポイントワイド相互情報(PMI)を使用する。 したがって、PMIScoreはエンゲージメントの明確な解釈を提供する。 PMIを直接計算することは、対話の複雑さのために難易度が高いため、PMIScoreは二重の発散によってPMIを学習した。 このアルゴリズムは、正と負の対話ペアを生成し、大きな言語モデル(LLM)による埋め込みを抽出し、相互情報損失関数を用いて小さなニューラルネットワークを訓練する。 我々はPMIScoreを合成と実世界の両方のデータセットで検証した。 PMI推定におけるPMIScoreの有効性とPMI基準自体の妥当性を示す。

関連論文リスト

• MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games [70.37904949359938]
  我々は,プライベート情報に関する効果的なコミュニケーションを必要とする協調ゲーム群を用いて,マルチターンインタラクションにおける言語モデルの評価を行った。 言語モデルでは,非対話的なベースラインシナリオを改善するために,対話的なコラボレーションを利用できないことがわかった。 我々は,これらの対話の言語的特徴を分析し,サイコフナンシー,情報密度,談話コヒーレンスの役割を評価する。
  論文  参考訳（メタデータ） (2026-02-27T17:13:20Z)
• MoCoRP: Modeling Consistent Relations between Persona and Response for Persona-based Dialogue [6.5336922543064055]
  ペルソナベースの対話における鍵となる課題は、エンゲージメントとコンテキスト固有の対話を生成することである。 既存のペルソナに基づく対話データセットは、ペルソナの文と応答の間に明確な関係を欠いている。 言語モデルに明示的な関係を組み込んだフレームワークであるMoCoRPを提案する。
  論文  参考訳（メタデータ） (2025-12-08T13:25:00Z)
• ChatSOP: An SOP-Guided MCTS Planning Framework for Controllable LLM Dialogue Agents [52.7201882529976]
  対話エージェントの制御性を高めるため,SOP誘導モンテカルロ木探索(MCTS)計画フレームワークを提案する。 これを実現するために、GPT-4oを用いた半自動ロールプレイシステムを用いて、SOPアノテーション付きマルチシナリオ対話からなるデータセットをキュレートする。 また、SOP予測のための教師付き微調整と思考の連鎖推論を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T12:23:02Z)
• Toward Practical Automatic Speech Recognition and Post-Processing: a Call for Explainable Error Benchmark Guideline [12.197453599489963]
  本稿では,Error Explainable Benchmark (EEB) データセットの開発を提案する。 このデータセットは、音声レベルとテキストレベルの両方を考慮しているが、モデルの欠点を詳細に理解することができる。 我々の提案は、より現実世界中心の評価のための構造化された経路を提供し、ニュアンスドシステムの弱点の検出と修正を可能にします。
  論文  参考訳（メタデータ） (2024-01-26T03:42:45Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations [46.942369532632604]
  不整合データ生成のためのAMRに基づく意味操作に依存する対話評価指標を提案する。 実験の結果,DEAMは基準法と比較して,人間の判断と高い相関性が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-18T03:11:35Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。