論文の概要: CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval

• arxiv url: http://arxiv.org/abs/2412.13071v2
• Date: Sun, 23 Mar 2025 09:52:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:51.518082
• Title: CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
• Title（参考訳）: CLASP:マルチ言語多モーダル情報検索のためのコントラスト言語-音声事前学習
• Authors: Mohammad Mahdi Abootorabi, Ehsaneddin Asgari,
• Abstract要約: CLASP(Contrastive Language-Speech Pretraining)は、音声テキスト情報検索に適した多言語表現である。 トレーニングでは,フィクションから宗教まで15の分野を対象とする音声テキストデータセットを新たに導入した。 複数の言語で評価した結果、CLASPはHITS@1、MRR、平均Rメトリクスで新しいベンチマークを確立している。
• 参考スコア（独自算出の注目度）: 0.9023847175654603
• License:
• Abstract: This study introduces CLASP (Contrastive Language-Speech Pretraining), a multilingual, multimodal representation tailored for audio-text information retrieval. CLASP leverages the synergy between spoken content and textual data. During training, we utilize our newly introduced speech-text dataset, which encompasses 15 diverse categories ranging from fiction to religion. CLASP's audio component integrates audio spectrograms with a pre-trained self-supervised speech model, while its language encoding counterpart employs a sentence encoder pre-trained on over 100 languages. This unified lightweight model bridges the gap between various modalities and languages, enhancing its effectiveness in handling and retrieving multilingual and multimodal data. Our evaluations across multiple languages demonstrate that CLASP establishes new benchmarks in HITS@1, MRR, and meanR metrics, outperforming traditional ASR-based retrieval methods that rely on transcribing speech into text for subsequent text retrieval, especially in specific scenarios.
• Abstract（参考訳）: 本研究では,音声テキスト情報検索に適した多言語多モーダル表現であるCLASP(Contrastive Language-Speech Pretraining)を紹介する。 CLASPは、音声コンテンツとテキストデータのシナジーを利用する。 トレーニングでは,フィクションから宗教まで15の分野を対象とする音声テキストデータセットを新たに導入した。 CLASPのオーディオコンポーネントは、音声スペクトログラムを事前訓練された自己教師付き音声モデルに統合し、言語エンコーディングは100以上の言語で事前訓練された文エンコーダを使用する。 この統一軽量モデルは、様々なモダリティと言語の間のギャップを橋渡しし、多言語および多モーダルデータの扱いと検索の有効性を高める。 複数の言語にまたがる評価の結果、CLASPはHITS@1, MRR, meanRのメトリクスに新しいベンチマークを定めており、特に特定のシナリオにおいて、音声をテキストに書き起こすことに依存する従来のASRベースの検索手法よりも優れていることがわかった。

関連論文リスト

• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Do Audio-Language Models Understand Linguistic Variations? [42.17718387132912]
  Open-vocabulary Audio Language Model (ALM)は、自然言語クエリを用いた音声テキスト検索の新しいパラダイムである。 本稿では,言語変化に対する音声表現を学習するための新しい,計算効率の高い手法であるRobostCLAPを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:55:33Z)
• CL-MASR: A Continual Learning Benchmark for Multilingual ASR [15.974765568276615]
  連続学習環境における多言語自動音声認識のベンチマークであるCL-MASRを提案する。 CL-MASRは、大規模事前訓練されたASRモデル上に実装された多種多様な連続学習手法と共通のメトリクスを提供する。 我々の知る限り、CL-MASRは多言語ASRタスクのための最初の連続学習ベンチマークである。
  論文  参考訳（メタデータ） (2023-10-25T18:55:40Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation [11.552745999302905]
  本稿では,SAMU-XLSRを提案する。 我々は、最先端の多言語フレームレベルの音声表現学習モデルXLS-RとLanguage Agnostic BERT Sentence Embedding (LaBSE)モデルを組み合わせて、発話レベルマルチモーダル音声エンコーダSAMU-XLSRを作成する。
  論文  参考訳（メタデータ） (2022-05-17T08:58:48Z)
• mSLAM: Massively multilingual joint pre-training for speech and text [43.32334037420761]
  mSLAMは、多言語で大量の未ラベルの音声とテキストを共同で事前学習することで、音声とテキストの言語間クロスモーダル表現を学習する。 テキストによる共同事前学習により、音声翻訳、音声意図分類、音声言語-IDの質が向上することがわかった。
  論文  参考訳（メタデータ） (2022-02-03T02:26:40Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。