論文の概要: S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling

• arxiv url: http://arxiv.org/abs/2608.14029v1
• Date: Fri, 14 Aug 2026 07:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.304557
• Title: S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling
• Title（参考訳）: S2Dialog:意味的・音響的スタイルモデリングを用いた多モーダル対話検索
• Abstract要約: マルチモーダル対話バンクからの対話レベルセマンティックスタイル検索のための統合フレームワークであるS2Dialogを提案する。 S2Dialogは、対話レベルのテキストレトリバーと対話レベルのアコースティックレトリバーで構成され、対話のテキストおよびアコースティックなモダリティを対話レベルの表現にエンコードする。 マルチモーダル対話データセットであるDailyTalkの実験は、S2Dialogが優れた検索性能を発揮することを示した。
• 参考スコア（独自算出の注目度）: 10.413079982380555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal dialogue retrieval aims to retrieve dialogues from multimodal dialogue banks that are similar to a target dialogue in terms of both textual semantics and acoustic conversational styles. Such dialogue-level retrieval is crucial for many dialogue-related tasks, including Emotion Recognition in Conversation, Spoken Dialogue Systems, and Conversational Speech Synthesis, where external dialogue examples can provide valuable semantic and stylistic references. However, existing retrieval methods are still largely limited to utterance-level or unimodal matching, and often fail to capture the global semantic coherence and stylistic consistency of an entire dialogue. To address this gap, we propose S2Dialog, a unified framework for dialogue-level semantic-style retrieval from multimodal dialogue banks. Specifically, S2Dialog consists of a Dialogue-level Textual Retriever and a Dialogue-level Acoustic Retriever, which encode the textual and acoustic modalities of a dialogue into dialogue-level representations, respectively. To further enhance multimodal retrieval, we introduce Dialogue-level Textual-Acoustic Contrastive Learning, which aligns semantically and stylistically similar dialogues while distinguishing unrelated ones. Extensive experiments on the multimodal dialogue dataset DailyTalk demonstrate that S2Dialog achieves outstanding retrieval performance.
• Abstract（参考訳）: マルチモーダル対話検索は,テキストのセマンティクスと音声の対話スタイルの両方の観点から,ターゲット対話に類似した多モーダル対話バンクから対話を検索することを目的としている。 このような対話レベルの検索は、会話における感情認識、音声対話システム、会話音声合成など、対話に関連する多くのタスクにおいて重要である。 しかし、既存の検索手法は、まだ発話レベルや単調なマッチングに限られており、対話全体のグローバルなセマンティックコヒーレンスとスタイリスティックな一貫性を捉えることができないことが多い。 このギャップに対処するため,マルチモーダル対話バンクからの対話レベルのセマンティックスタイル検索のための統合フレームワークであるS2Dialogを提案する。 具体的には、S2Dialogは、対話レベルのテキストレトリバーと対話レベルの音響レトリバーで構成され、対話のテキストと音響のモダリティをそれぞれ対話レベルの表現に符号化する。 マルチモーダル検索をさらに強化するために,意味的,スタイリスティックに類似した対話を協調し,無関係な対話を区別する対話レベルテキスト・音響コントラスト学習を導入する。 マルチモーダル対話データセットDailyTalkの大規模な実験により,S2Dialogが優れた検索性能を発揮することが示された。

関連論文リスト

• Dialogue Summarization with Emotion Dynamics Using Topic- and Participant-Centric Decomposition [1.3254304182988284]
  本稿では,意味論と感情学の両方を明示的にモデル化する対話要約フレームワークを提案する。 我々は,(1)全参加者の発話に基づく話題セグメント,(2)参加者固有の発話セグメントの2つの視点から対話を分解する。 これらは、自動的に推論された感情を取り入れながら、対応する要約を生成するために使用される。
  論文  参考訳（メタデータ） (2026-07-16T09:53:00Z)
• On Mitigating Data Sparsity in Conversational Recommender Systems [69.70761335240738]
  会話レコメンデータシステム(CRS)は、対話中のテキスト情報を通じてユーザの好みをキャプチャする。 対話空間は広大で言語的に多様であり、アイテム空間は長い尾とスパース分布を示す。 既存の手法では,(1)リッチテキストの活用による多様な対話表現の一般化,(2)重度の疎度下での情報表現の学習に苦慮している。
  論文  参考訳（メタデータ） (2025-07-01T06:54:51Z)
• DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling [73.08187964426823]
  大規模言語モデル (LLM) によって実現された対話システムは、人間と機械の相互作用において中心的なモードの1つとなっている。 本稿では,新しい研究課題--$textbfD$ialogue $textbfE$lement $textbfMO$delingを紹介する。 本稿では,包括的対話モデリングと評価のために設計された新しいベンチマークである$textbfDEMO$を提案する。
  論文  参考訳（メタデータ） (2024-12-06T10:01:38Z)
• A Static and Dynamic Attention Framework for Multi Turn Dialogue Generation [37.79563028123686]
  オープンドメインマルチターン対話生成では,対話履歴の文脈意味論をモデル化することが不可欠である。 従来の研究は、オープンドメインマルチターン対話生成における階層的再帰エンコーダデコーダフレームワークの有効性を検証していた。 本稿では,対話履歴をモデル化し,オープンドメインのマルチターン対話応答を生成する静的かつ動的アテンションに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-28T06:05:34Z)
• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
  マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。 これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。 本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:12:07Z)
• Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
  本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。 対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。 また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T11:03:55Z)
• Act-Aware Slot-Value Predicting in Multi-Domain Dialogue State Tracking [5.816391291790977]
  対話状態追跡(DST)は、人間と機械の相互作用を追跡し、対話を管理するための状態表現を生成することを目的としている。 機械読解の最近の進歩は、対話状態追跡のための分類型と非分類型のスロットの両方を予測する。 我々は対話行為を定式化し、機械読解の最近の進歩を活用し、対話状態追跡のためのカテゴリー型と非カテゴリ型の両方のスロットを予測する。
  論文  参考訳（メタデータ） (2022-08-04T05:18:30Z)
• UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues [59.499965460525694]
  上記の2つのスキルを備えた統合対話システム(UniDS)を提案する。 我々は、チャットとタスク指向の対話の両方に対応可能な統合対話データスキーマを設計する。 我々は、事前訓練されたチャット対話モデルから混合対話データでUniDSを訓練する。
  論文  参考訳（メタデータ） (2021-10-15T11:56:47Z)
• Structural Modeling for Dialogue Disentanglement [43.352833140317486]
  マルチパーティ対話コンテキスト マルチパーティ対話コンテキストは、対話読解の課題に繋がる。 本研究は,対話構造の特徴を考慮に入れて,複数パーティ履歴をスレッドにアンタングルする新しいモデルを設計する。
  論文  参考訳（メタデータ） (2021-10-15T11:28:43Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。