論文の概要: Modeling Text-visual Mutual Dependency for Multi-modal Dialog Generation

• arxiv url: http://arxiv.org/abs/2105.14445v1
• Date: Sun, 30 May 2021 07:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 11:52:24.158418
• Title: Modeling Text-visual Mutual Dependency for Multi-modal Dialog Generation
• Title（参考訳）: マルチモーダルダイアログ生成のためのテキスト視覚的相互依存のモデル化
• Authors: Shuhe Wang, Yuxian Meng, Xiaofei Sun, Fei Wu, Rongbin Ouyang, Rui Yan, Tianwei Zhang, Jiwei Li
• Abstract要約: 実世界におけるマルチモーダルダイアログ生成の特定の事例を解決するためのフレームワークを提案する。 具体的には,テキスト・視覚的特徴間の相互依存をモデル化することを提案する。 テキストと視覚的特徴間の相互依存がモデル化されている場合、バニラモデルよりも顕著なパフォーマンス向上が観察される。
• 参考スコア（独自算出の注目度）: 35.45552689723718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal dialog modeling is of growing interest. In this work, we propose frameworks to resolve a specific case of multi-modal dialog generation that better mimics multi-modal dialog generation in the real world, where each dialog turn is associated with the visual context in which it takes place. Specifically, we propose to model the mutual dependency between text-visual features, where the model not only needs to learn the probability of generating the next dialog utterance given preceding dialog utterances and visual contexts, but also the probability of predicting the visual features in which a dialog utterance takes place, leading the generated dialog utterance specific to the visual context. We observe significant performance boosts over vanilla models when the mutual dependency between text and visual features is modeled. Code is available at https://github.com/ShannonAI/OpenViDial.
• Abstract（参考訳）: マルチモーダルダイアログモデリングは関心が増している。 本研究では,実世界におけるマルチモーダルダイアログ生成をよりよく模倣する,マルチモーダルダイアログ生成の特定のケースを解決するためのフレームワークを提案する。 具体的には,テキスト・視覚的特徴間の相互依存をモデル化することを提案する。このモデルでは,先行するダイアログ発話と視覚的コンテキストから次のダイアログ発話を生成する確率を学習するだけでなく,ダイアログ発話の発生する視覚的特徴を予測する確率も学習し,生成したダイアログ発話を視覚的コンテキストに特有のものに導く。 テキストと視覚特徴の相互依存がモデル化された場合,バニラモデルに対する大幅なパフォーマンス向上が観察される。 コードはhttps://github.com/ShannonAI/OpenViDial.comで入手できる。

関連論文リスト

• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• Contextual Data Augmentation for Task-Oriented Dialog Systems [8.085645180329417]
  本研究では,ユーザターンを生成する新しいダイアログ拡張モデルを構築し,完全なダイアログコンテキストを条件づける。 言語モデルの新しいプロンプト設計と出力の再ランク付けにより、我々のモデルから生成されたダイアログを直接使用して、下流ダイアログシステムのトレーニングを行うことができる。
  論文  参考訳（メタデータ） (2023-10-16T13:22:34Z)
• SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation [123.37377363355363]
  SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。 幅広いダウンストリームダイアログタスクを効果的に微調整できる。 その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
  論文  参考訳（メタデータ） (2022-09-14T14:17:57Z)
• Modeling Coreference Relations in Visual Dialog [18.926582410644375]
  ダイアログにおけるコア参照関係の発生は、視覚的質問応答よりも難しい課題となる。 教師なしの方法でダイアログにおけるコア参照を解消するモデルの能力を改善する2つのソフト制約を提案する。
  論文  参考訳（メタデータ） (2022-03-06T15:22:24Z)
• Building Goal-Oriented Dialogue Systems with Situated Visual Context [12.014793558784955]
  スクリーン付きバーチャルアシスタントの急増に伴い、次世代のエージェントはスクリーンコンテキストを理解する必要がある。 本稿では,対話エージェントの次の行動とその議論を対話と視覚の両方で協調的に条件付けする,新しい多モーダル対話フレームワークを提案する。 我々のモデルは、色や形状などの視覚的特徴と、視覚的実体に関連する価格や星のレーティングといったメタデータに基づく特徴を認識できる。
  論文  参考訳（メタデータ） (2021-11-22T23:30:52Z)
• OpenViDial 2.0: A Larger-Scale, Open-Domain Dialogue Generation Dataset with Visual Contexts [20.37658842432543]
  より大規模なオープンドメインマルチモーダル対話データセットであるOpenViDial 2.0をリリースする。 OpenViDial 2.0は、映画またはテレビシリーズから抽出された合計560万回の対話を含む。
  論文  参考訳（メタデータ） (2021-09-27T02:10:29Z)
• OpenViDial: A Large-Scale, Open-Domain Dialogue Dataset with Visual Contexts [35.57757367869986]
  大規模なマルチモジュール対話データセットであるbf OpenViDialをリリースする。 OpenViDialには、合計11万の対話ターンが含まれている。 テキストとビジュアルの両方のコンテキストを利用したエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-30T03:02:50Z)
• VD-BERT: A Unified Vision and Dialog Transformer with BERT [161.0016161052714]
  VD-BERTは,視覚対話型トランスフォーマーの簡易かつ効果的なフレームワークである。 我々は、視覚的グラウンドトレーニングにより、視覚と対話内容の効果的な融合にBERTを適用した。 我々のモデルは新たな芸術状態をもたらし、シングルモデルとアンサンブル設定の両方で最高位を達成する。
  論文  参考訳（メタデータ） (2020-04-28T04:08:46Z)
• Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
  本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。 また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
  論文  参考訳（メタデータ） (2020-04-16T05:12:36Z)
• Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems [57.082447660944965]
  Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。 ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。 ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
  論文  参考訳（メタデータ） (2020-04-09T00:10:54Z)
• Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation [59.174903564894954]
  本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。 目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。 各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
  論文  参考訳（メタデータ） (2020-01-23T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。