論文の概要: TikTalk: A Video-Based Dialogue Dataset for Multi-Modal Chitchat in Real World

• arxiv url: http://arxiv.org/abs/2301.05880v2
• Date: Mon, 7 Aug 2023 10:36:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 00:21:27.565999
• Title: TikTalk: A Video-Based Dialogue Dataset for Multi-Modal Chitchat in Real World
• Title（参考訳）: TikTalk: リアルタイムのマルチモーダルチャットのためのビデオベースの対話データセット
• Authors: Hongpeng Lin, Ludan Ruan, Wenke Xia, Peiyu Liu, Jingyuan Wen, Yixin Xu, Di Hu, Ruihua Song, Wayne Xin Zhao, Qin Jin and Zhiwu Lu
• Abstract要約: 我々はTikTalkと呼ばれるビデオベースのマルチモーダル対話データセットを導入する。 人気ビデオ共有プラットフォームから38Kのビデオを収集し、その下のユーザーから367Kの会話を投稿した。 ユーザーはビデオのマルチモーダルな体験に基づいて自発的な会話をし、現実世界のchitchatコンテキストを再現する。
• 参考スコア（独自算出の注目度）: 65.41061393851506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To facilitate the research on intelligent and human-like chatbots with multi-modal context, we introduce a new video-based multi-modal dialogue dataset, called TikTalk. We collect 38K videos from a popular video-sharing platform, along with 367K conversations posted by users beneath them. Users engage in spontaneous conversations based on their multi-modal experiences from watching videos, which helps recreate real-world chitchat context. Compared to previous multi-modal dialogue datasets, the richer context types in TikTalk lead to more diverse conversations, but also increase the difficulty in capturing human interests from intricate multi-modal information to generate personalized responses. Moreover, external knowledge is more frequently evoked in our dataset. These facts reveal new challenges for multi-modal dialogue models. We quantitatively demonstrate the characteristics of TikTalk, propose a video-based multi-modal chitchat task, and evaluate several dialogue baselines. Experimental results indicate that the models incorporating large language models (LLM) can generate more diverse responses, while the model utilizing knowledge graphs to introduce external knowledge performs the best overall. Furthermore, no existing model can solve all the above challenges well. There is still a large room for future improvements, even for LLM with visual extensions. Our dataset is available at \url{https://ruc-aimind.github.io/projects/TikTalk/}.
• Abstract（参考訳）: マルチモーダルコンテキストを用いた知的・人間的なチャットボットの研究を容易にするため,TikTalkと呼ばれるビデオベースのマルチモーダル対話データセットを導入する。 人気ビデオ共有プラットフォームから38Kのビデオを収集し、その下のユーザーから367Kの会話を投稿した。 ユーザーはビデオのマルチモーダルな体験に基づいて自発的な会話をし、現実世界のchitchatコンテキストを再現する。 従来のマルチモーダル対話データセットと比較して、TikTalkのよりリッチなコンテキストタイプは、より多様な会話をもたらす一方で、複雑なマルチモーダル情報からパーソナライズされた応答を生成することの難しさも増す。 さらに、外部知識はデータセットでより頻繁に引き起こされます。 これらの事実はマルチモーダル対話モデルの新たな課題を明らかにする。 そこで,tiktalkの特徴を定量的に示し,ビデオベースのマルチモーダルチットチャットタスクを提案し,対話ベースラインの評価を行った。 実験結果から,大規模言語モデル(LLM)を組み込んだモデルの方が,より多様な応答を生成できることがわかった。 さらに、上記のすべての課題を、既存のモデルはうまく解決できない。 ビジュアル拡張を備えた LLM においても,今後の改善の余地は大きい。 我々のデータセットは \url{https://ruc-aimind.github.io/projects/TikTalk/} で利用可能です。

関連論文リスト

• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models [59.525108086957296]
  Video-ChatGPTは、ビデオ適応型ビジュアルエンコーダとLLMをマージするマルチモーダルモデルである。 ビデオに関する詳細な会話を理解し、生成することができる。 我々は,ビデオチャットGPTのトレーニングに使用される10,000対のビデオ命令ペアの新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)
• Affective Faces for Goal-Driven Dyadic Communication [16.72177738101024]
  本稿では,言語会話における言語コミュニケーションと非言語コミュニケーションの関連をモデル化するためのビデオフレームワークを提案する。 本手法では,社会的に適切な表情を持つリスナーの映像を検索する。
  論文  参考訳（メタデータ） (2023-01-26T05:00:09Z)
• Exploring Effective Information Utilization in Multi-Turn Topic-Driven Conversations [11.550422073645425]
  We encodeed topic and dialogue history information using certain prompts with multiple channel of Fusion-in-Decoder (FiD) 本稿では,最近のニュースを中心に会話が展開されるNaturalConvという,中国の特定のデータセットに焦点を当てた実験を行った。
  論文  参考訳（メタデータ） (2022-09-01T06:20:39Z)
• HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data [87.67278915655712]
  我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。 これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
  論文  参考訳（メタデータ） (2022-04-28T00:52:16Z)
• Building Goal-Oriented Dialogue Systems with Situated Visual Context [12.014793558784955]
  スクリーン付きバーチャルアシスタントの急増に伴い、次世代のエージェントはスクリーンコンテキストを理解する必要がある。 本稿では,対話エージェントの次の行動とその議論を対話と視覚の両方で協調的に条件付けする,新しい多モーダル対話フレームワークを提案する。 我々のモデルは、色や形状などの視覚的特徴と、視覚的実体に関連する価格や星のレーティングといったメタデータに基づく特徴を認識できる。
  論文  参考訳（メタデータ） (2021-11-22T23:30:52Z)
• OpenViDial: A Large-Scale, Open-Domain Dialogue Dataset with Visual Contexts [35.57757367869986]
  大規模なマルチモジュール対話データセットであるbf OpenViDialをリリースする。 OpenViDialには、合計11万の対話ターンが含まれている。 テキストとビジュアルの両方のコンテキストを利用したエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-30T03:02:50Z)
• KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation [66.99734491847076]
  我々は,中国語の多分野知識駆動会話データセットKdConvを提案する。 私たちのコーパスには3つのドメイン(映画、音楽、旅行)から4.5Kの会話と、平均19.0の回転数で86Kの発話が含まれています。
  論文  参考訳（メタデータ） (2020-04-08T16:25:39Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。