論文の概要: Unveiling the Impact of Multi-Modal Interactions on User Engagement: A Comprehensive Evaluation in AI-driven Conversations

• arxiv url: http://arxiv.org/abs/2406.15000v1
• Date: Fri, 21 Jun 2024 09:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 14:03:36.858686
• Title: Unveiling the Impact of Multi-Modal Interactions on User Engagement: A Comprehensive Evaluation in AI-driven Conversations
• Title（参考訳）: マルチモーダルインタラクションがユーザエンゲージメントに与える影響を明らかにする:AIによる会話における包括的評価
• Authors: Lichao Zhang, Jia Yu, Shuai Zhang, Long Li, Yangyang Zhong, Guanbao Liang, Yuming Yan, Qing Ma, Fangsheng Weng, Fayu Pan, Jing Li, Renjun Xu, Zhenzhong Lan,
• Abstract要約: 本稿では,画像と音声をテキストと併用したマルチモーダルインタラクションがユーザエンゲージメントに与える影響について検討する。 本研究は,テキストのみの対話に比べて,マルチモーダルインタラクションによるユーザエンゲージメントが著しく向上していることを明らかにする。 その結果,マルチモーダルインタラクションは認知処理を最適化し,より豊かな情報理解を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 17.409790984399052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have significantly advanced user-bot interactions, enabling more complex and coherent dialogues. However, the prevalent text-only modality might not fully exploit the potential for effective user engagement. This paper explores the impact of multi-modal interactions, which incorporate images and audio alongside text, on user engagement in chatbot conversations. We conduct a comprehensive analysis using a diverse set of chatbots and real-user interaction data, employing metrics such as retention rate and conversation length to evaluate user engagement. Our findings reveal a significant enhancement in user engagement with multi-modal interactions compared to text-only dialogues. Notably, the incorporation of a third modality significantly amplifies engagement beyond the benefits observed with just two modalities. These results suggest that multi-modal interactions optimize cognitive processing and facilitate richer information comprehension. This study underscores the importance of multi-modality in chatbot design, offering valuable insights for creating more engaging and immersive AI communication experiences and informing the broader AI community about the benefits of multi-modal interactions in enhancing user engagement.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、より複雑で一貫性のある対話を可能にするため、ユーザとボットの相互作用が大幅に進歩している。 しかし、テキストのみのモダリティは、効果的なユーザエンゲージメントの可能性を十分に活用していないかもしれない。 本稿では,マルチモーダルインタラクションがチャットボット会話におけるユーザエンゲージメントに与える影響について検討する。 各種チャットボットと実ユーザインタラクションデータを用いて包括的分析を行い、保持率や会話長などの指標を用いてユーザエンゲージメントを評価する。 本研究は,テキストのみの対話に比べて,マルチモーダルインタラクションによるユーザエンゲージメントが著しく向上していることを明らかにする。 特に、第3のモダリティの組み入れは、わずか2つのモダリティで観測される利益を超えるエンゲージメントを著しく増幅する。 これらの結果は、マルチモーダルインタラクションが認知処理を最適化し、より豊かな情報理解を促進することを示唆している。 この研究は、チャットボット設計におけるマルチモーダルの重要性を強調し、よりエンゲージメントで没入的なAIコミュニケーションエクスペリエンスを作成し、ユーザエンゲージメントを高めるためのマルチモーダルインタラクションのメリットについて、幅広いAIコミュニティに通知するための貴重な洞察を提供する。

関連論文リスト

• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• Visualizing Dialogues: Enhancing Image Selection through Dialogue Understanding with Large Language Models [25.070424546200293]
  本稿では,大規模言語モデル(LLM)の頑健な推論機能を活用して,正確な対話関連視覚記述子を生成する手法を提案する。 ベンチマークデータを用いて行った実験は、簡潔で正確な視覚記述子の導出における提案手法の有効性を検証した。 本研究は,多様な視覚的手がかり,多様なLCM,異なるデータセットにまたがる手法の一般化可能性を示すものである。
  論文  参考訳（メタデータ） (2024-07-04T03:50:30Z)
• Dataset and Models for Item Recommendation Using Multi-Modal User Interactions [14.054250597878465]
  マルチモーダルなユーザインタラクションを,複数のチャネルを通じてユーザがサービスプロバイダと対話する環境で検討する。 このような場合、すべてのユーザが利用可能なすべてのチャンネルを介して対話するわけではないため、不完全なモダリティが自然に発生する。 本稿では,ユーザインタラクションを共通機能空間にマッピングすることで,モダリティの欠如に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-07T12:03:22Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• Automatic Context-Driven Inference of Engagement in HMI: A Survey [6.479224589451863]
  本稿では,人間と機械の相互作用に関するエンゲージメント推論について述べる。 これには、学際的定義、エンゲージメントコンポーネントと要因、公開データセット、地上真実の評価、そして最も一般的に使用される機能と方法が含まれる。 これは、信頼性の高いコンテキスト認識エンゲージメント推論機能を備えた、将来の人間と機械のインタラクションインターフェースの開発のためのガイドとして機能する。
  論文  参考訳（メタデータ） (2022-09-30T10:46:13Z)
• Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue System [120.70726465994781]
  マルチモーダル音声対話システムにより、電話ベースのエージェントが、人間のような顧客と対話できる。 製品で学んだ教訓を共有するために、Conversation Duplex Alibabaのインテリジェントなカスタマサービスをデプロイしています。 オンラインA/B実験は,提案システムにおいて応答遅延を50%低減できることを示した。
  論文  参考訳（メタデータ） (2022-05-30T12:41:23Z)
• A Role-Selected Sharing Network for Joint Machine-Human Chatting Handoff and Service Satisfaction Analysis [35.937850808046456]
  本稿では,対話満足度推定とハンドオフ予測を統合した新しいモデルであるRole-Selected Sharing Network(RSSN)を提案する。 ダイアログマイニングにおける従来の取り組みとは異なり、地域ユーザの満足度をブリッジとして活用することにより、グローバルな満足度検知器とハンドオフ予測器は、重要な情報を効果的に交換することができる。
  論文  参考訳（メタデータ） (2021-09-17T08:39:45Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。