論文の概要: Joint Multimodal Contrastive Learning for Robust Spoken Term Detection and Keyword Spotting

• arxiv url: http://arxiv.org/abs/2512.14115v1
• Date: Tue, 16 Dec 2025 05:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.611039
• Title: Joint Multimodal Contrastive Learning for Robust Spoken Term Detection and Keyword Spotting
• Title（参考訳）: ロバストスポット項検出とキーワードスポッティングのための共同マルチモーダルコントラスト学習
• Authors: Ramesh Gundluru, Shubham Gupta, Sri Rama Murty K,
• Abstract要約: 本研究では,共用組込み空間における音響・クロスモーダル監視を統一するマルチモーダルコントラスト学習フレームワークを提案する。 i) CLAPの損失にインスパイアされた音声テキストのコントラスト学習と, (ii) 音声音声のコントラスト学習をDeep Word Discrimination (DWD) の損失で同時に最適化し, クラス内コンパクト性とクラス間分離性を高める。 提案手法は,STDとKWSの両方を柔軟にサポートしながら,単語識別タスクにおける既存のAWEベースラインよりも優れている。
• 参考スコア（独自算出の注目度）: 13.48022380380599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acoustic Word Embeddings (AWEs) improve the efficiency of speech retrieval tasks such as Spoken Term Detection (STD) and Keyword Spotting (KWS). However, existing approaches suffer from limitations, including unimodal supervision, disjoint optimization of audio-audio and audio-text alignment, and the need for task-specific models. To address these shortcomings, we propose a joint multimodal contrastive learning framework that unifies both acoustic and cross-modal supervision in a shared embedding space. Our approach simultaneously optimizes: (i) audio-text contrastive learning, inspired by the CLAP loss, to align audio and text representations and (ii) audio-audio contrastive learning, via Deep Word Discrimination (DWD) loss, to enhance intra-class compactness and inter-class separation. The proposed method outperforms existing AWE baselines on word discrimination task while flexibly supporting both STD and KWS. To our knowledge, this is the first comprehensive approach of its kind.
• Abstract（参考訳）: アコースティックワード埋め込み(AWE)は、音声検索タスク(STD)やキーワードスポッティング(KWS)の効率を改善する。 しかし、既存のアプローチは、一元管理、オーディオオーディオと音声テキストアライメントの解離最適化、タスク固有のモデルの必要性といった制限に悩まされている。 これらの欠点に対処するために,共用組込み空間における音響的・相互監視を統一するマルチモーダルコントラスト学習フレームワークを提案する。 私たちのアプローチは、同時に最適化します。 (i)CLAPの損失にインスパイアされた音声テキストコントラスト学習は、音声とテキストの表現を整列させる。 (II) 音声・音声のコントラスト学習, ディープ・ワード・差別化(DWD)の損失により, クラス内コンパクト性とクラス間分離性を高める。 提案手法は,STDとKWSの両方を柔軟にサポートしながら,単語識別タスクにおける既存のAWEベースラインよりも優れている。 私たちの知る限りでは、この種の包括的アプローチとしてはこれが初めてのものです。

関連論文リスト

• Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback [82.70507055599093]
  本稿では,マルチターン・チェーン・オブ・ソートモデルとブロックワイド・デュプレックスモデルの両方において,SDSの品質向上のための選好学習に関する最初の体系的研究を行う。 実験により, 単一回帰RLAIFは目標距離を選択的に改善し, 連立多重回帰学習は意味的品質と音声の自然性において一貫した利得が得られることが示された。
  論文  参考訳（メタデータ） (2026-01-27T00:55:14Z)
• CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation [32.72685791637924]
  オンラインクロスモーダル自己蒸留を行う統合アライメントフレームワークであるCORDを提案する。 具体的には、音声条件の推論とテキスト条件の推論を統一モデル内で一致させる。 複数のベンチマークにまたがる実験結果から、CORDは音声条件推論を一貫して強化することが示された。
  論文  参考訳（メタデータ） (2026-01-23T08:31:24Z)
• Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
  音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。 i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-28T06:51:42Z)
• Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
  我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。 意味論の欠如により、異種表現は誤った一致につながる可能性がある。 モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
  論文  参考訳（メタデータ） (2025-07-28T11:46:35Z)
• Towards Robust Overlapping Speech Detection: A Speaker-Aware Progressive Approach Using WavLM [53.17360668423001]
  重なり合う音声検出(OSD)は、会話中に複数の話者が重複する領域を特定することを目的としている。 本研究では,サブタスク間の相関性を高めるために,プログレッシブトレーニング戦略を活用する話者対応プログレッシブOSDモデルを提案する。 実験の結果,提案手法は,AMIテストセット上でF1スコアが82.76%の最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-05-29T07:47:48Z)
• Adversarial Deep Metric Learning for Cross-Modal Audio-Text Alignment in Open-Vocabulary Keyword Spotting [8.401528952094413]
  テキスト入力に基づくオープン語彙キーワードスポッティング(KWS)では、音響とテキストの埋め込みは通常、音素または発話レベルで比較される。 ディープ・メトリック・ラーニング(DML)を用いて音響およびテキストエンコーダを最適化し,共有埋め込み空間におけるマルチモーダル埋め込みの直接比較を可能にする。 異質なモダリティ表現における領域ギャップを低減するためのモダリティ適応学習(MAL)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T14:49:46Z)
• Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization [25.213694510527436]
  既存の話者ダイアリゼーションシステムの多くは、単調な音響情報のみに依存している。 本稿では,音声,視覚,意味的手がかりを併用して話者ダイアリゼーションを向上する新しいマルチモーダル手法を提案する。 我々の手法は、最先端の話者ダイアリゼーション法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-08-22T03:34:03Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。