論文の概要: Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations

• arxiv url: http://arxiv.org/abs/2308.16349v2
• Date: Tue, 12 Sep 2023 04:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 16:31:30.360676
• Title: Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations
• Title（参考訳）: Affective Visual Dialog:ビジュアル接地会話に基づく感情推論のための大規模ベンチマーク
• Authors: Kilichbek Haydarov, Xiaoqian Shen, Avinash Madasu, Mahmoud Salem, Li-Jia Li, Gamaleldin Elsayed, Mohamed Elhoseiny
• Abstract要約: 本稿では,視覚的な会話における感情の形成を理解するためのテストベッドとして,Affective Visual Dialogを紹介した。 この課題には,対話型質問回答,対話型感情予測,感情説明生成という3つのスキルが含まれる。 私たちの重要な貢献は、AffectVisDialと呼ばれる大規模なデータセットの収集です。
• 参考スコア（独自算出の注目度）: 33.29699005861188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Affective Visual Dialog, an emotion explanation and reasoning task as a testbed for research on understanding the formation of emotions in visually grounded conversations. The task involves three skills: (1) Dialog-based Question Answering (2) Dialog-based Emotion Prediction and (3) Affective emotion explanation generation based on the dialog. Our key contribution is the collection of a large-scale dataset, dubbed AffectVisDial, consisting of 50K 10-turn visually grounded dialogs as well as concluding emotion attributions and dialog-informed textual emotion explanations, resulting in a total of 27,180 working hours. We explain our design decisions in collecting the dataset and introduce the questioner and answerer tasks that are associated with the participants in the conversation. We train and demonstrate solid Affective Visual Dialog baselines adapted from state-of-the-art models. Remarkably, the responses generated by our models show promising emotional reasoning abilities in response to visually grounded conversations. Our project page is available at https://affective-visual-dialog.github.io.
• Abstract（参考訳）: 視覚の接地会話における感情の形成を理解するためのテストベッドとして,感情説明と推論タスクである情緒的視覚ダイアログを導入した。 課題は,(1)対話に基づく質問応答,(2)対話に基づく感情予測,(3)対話に基づく感情説明生成の3つのスキルである。 私たちの重要な貢献は、AffectVisDialと呼ばれる大規模なデータセットの収集です。50Kの10ターンの視覚的接地ダイアログと、感情の属性とダイアログのインフォームド感情の説明をまとめ、合計27180時間の作業時間になります。 データセット収集における設計判断について説明し,会話の参加者に関連付けられた質問者および回答者タスクについて紹介する。 我々は,最先端モデルから適応した視覚ダイアログベースラインを訓練し,実演する。 注目すべきことに、我々のモデルが生成した反応は、視覚的に接地された会話に応答して、有望な感情的推論能力を示す。 プロジェクトのページはhttps://affective-visual-dialog.github.ioで閲覧できます。

関連論文リスト

• SemEval-2024 Task 3: Multimodal Emotion Cause Analysis in Conversations [53.60993109543582]
  SemEval-2024 Task 3 "Multimodal Emotion Cause Analysis in Conversations" は、会話からすべての感情とそれに対応する原因を抽出することを目的としている。 異なるモダリティ設定の下では、2つのサブタスクから構成される: 会話におけるテキスト感情因果ペア抽出(TECPE)と会話におけるマルチモーダル感情因果ペア抽出(MECPE)である。 本稿では,タスク,データセット,評価設定について紹介し,トップチームのシステムを要約し,参加者の知見について議論する。
  論文  参考訳（メタデータ） (2024-05-19T09:59:00Z)
• Personality-affected Emotion Generation in Dialog Systems [67.40609683389947]
  ダイアログシステムに与えられた個性に基づいて感情を生成する新しいタスクであるパーソナリティ影響感情生成を提案する。 本課題の課題,すなわち,(1)個性と感情的要因を不均一に統合し,(2)対話場面における多粒性感情情報を抽出する。 その結果,感情生成性能はマクロF1では13%,重み付きF1では5%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-04-03T08:48:50Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
  隠れ変数分離に基づく動的因果解離モデルを提案する。 このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。 具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-13T12:58:09Z)
• deep learning of segment-level feature representation for speech emotion recognition in conversations [9.432208348863336]
  そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。 まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。 第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
  論文  参考訳（メタデータ） (2023-02-05T16:15:46Z)
• Think Twice: A Human-like Two-stage Conversational Agent for Emotional Response Generation [16.659457455269127]
  感情対話生成のための2段階対話エージェントを提案する。 まず,感情アノテートされた対話コーパスを使わずに訓練された対話モデルを用いて,文脈意味に合致するプロトタイプ応答を生成する。 第二に、第一段階のプロトタイプは共感仮説で制御可能な感情精錬器によって修正される。
  論文  参考訳（メタデータ） (2023-01-12T10:03:56Z)
• Chat-Capsule: A Hierarchical Capsule for Dialog-level Emotion Analysis [70.98130990040228]
  本稿では,発話レベルと対話レベルの両方の感情とその相互関係をモデル化したコンテキストベースの階層的注意カプセル(Chat-Capsule)モデルを提案する。 Eコマースプラットフォームの顧客サポートから収集したダイアログデータセットでは,ユーザの満足度や感情曲線のカテゴリも予測できる。
  論文  参考訳（メタデータ） (2022-03-23T08:04:30Z)
• Simulated Annealing for Emotional Dialogue Systems [22.96717845092991]
  対話生成のための特定の感情を表現するタスクについて検討する。 提案手法は,従来の最先端手法と比較して,感情の精度が12%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-22T13:17:17Z)
• Generating Empathetic Responses with a Large Scale Dialog Dataset [0.76146285961466]
  既存のモデルは、応答生成を導くために事前に定義された感情情報を直接組み込むか、応答感情を決定する決定論的ルールを使用する。 6000以上の人的評価インスタンスのベースラインと比較して,マルチターン共感ダイアログモデルの構築方法を示す。
  論文  参考訳（メタデータ） (2021-05-14T13:45:40Z)
• Knowledge Bridging for Empathetic Dialogue Generation [52.39868458154947]
  外部知識の不足により、感情的な対話システムは暗黙の感情を知覚し、限られた対話履歴から感情的な対話を学ぶことが困難になる。 本研究では,情緒的対話生成における感情を明確に理解し,表現するために,常識的知識や情緒的語彙的知識などの外部知識を活用することを提案する。
  論文  参考訳（メタデータ） (2020-09-21T09:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。