論文の概要: Attention-Based Keyword Localisation in Speech using Visual Grounding

• arxiv url: http://arxiv.org/abs/2106.08859v1
• Date: Wed, 16 Jun 2021 15:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:13:37.191551
• Title: Attention-Based Keyword Localisation in Speech using Visual Grounding
• Title（参考訳）: 視覚接地を用いた音声における注意に基づくキーワードの局所化
• Authors: Kayode Olaleye and Herman Kamper
• Abstract要約: 我々は,視覚的接地型音声モデルでもキーワードの局所化が可能かどうか検討する。 従来の視覚的基盤モデルよりも注目が大きなパフォーマンス向上をもたらすことを示す。 他の多くの音声画像研究と同様に、不正確な局所化の多くは意味的混乱によるものである。
• 参考スコア（独自算出の注目度）: 32.170748231414365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visually grounded speech models learn from images paired with spoken captions. By tagging images with soft text labels using a trained visual classifier with a fixed vocabulary, previous work has shown that it is possible to train a model that can detect whether a particular text keyword occurs in speech utterances or not. Here we investigate whether visually grounded speech models can also do keyword localisation: predicting where, within an utterance, a given textual keyword occurs without any explicit text-based or alignment supervision. We specifically consider whether incorporating attention into a convolutional model is beneficial for localisation. Although absolute localisation performance with visually supervised models is still modest (compared to using unordered bag-of-word text labels for supervision), we show that attention provides a large gain in performance over previous visually grounded models. As in many other speech-image studies, we find that many of the incorrect localisations are due to semantic confusions, e.g. locating the word 'backstroke' for the query keyword 'swimming'.
• Abstract（参考訳）: 視覚接地音声モデルは、音声キャプションと組み合わせた画像から学習する。 一定の語彙を持つ訓練された視覚分類器を用いて、ソフトテキストラベルで画像にタグ付けすることで、前回の研究では、特定のテキストキーワードが発話中に発生するかどうかを検出できるモデルを訓練できることが示されている。 ここでは,音声モデルがキーワードローカライズも可能かどうかを検討する。 発話中, テキストベースやアライメントの監督なしに, 与えられたテキストキーワードがどこで発生するかを予測する。 畳み込みモデルに注意を組み込むことが局所化に有益かどうかを特に検討する。 視覚的教師付きモデルを用いた絶対的なローカライゼーション性能は、いまだに控えめな状態にあるが(非秩序な単語のテキストラベルを監督に使用した場合と比較して)、従来の視覚的基盤モデルよりも大きなパフォーマンス向上をもたらすことを示す。 他の多くの音声画像研究と同様に、不正確な局所化の多くは意味的混乱によるものである。 クエリキーワード 'swimming' の 'backstroke' を指定します。

関連論文リスト

• Pixel Aligned Language Models [94.32841818609914]
  我々は、位置を入力または出力として捉えることができる視覚言語モデルを開発した。 位置を入力として取ると、モデルが位置条件付きキャプションを実行し、指定対象または領域のキャプションを生成する。 本モデルでは,人間の注意を反映した画素単語対応キャプションを含むLocalized Narrative データセットを事前学習する。
  論文  参考訳（メタデータ） (2023-12-14T18:57:58Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• Natural Scene Image Annotation Using Local Semantic Concepts and Spatial Bag of Visual Words [0.0]
  本稿では,事前に定義された語彙から局所的な意味ラベルを付加した自然なシーン画像の自動アノテーションフレームワークを提案する。 このフレームワークは、自然な場面では、中間的な意味概念が局所的なキーポイントと相関していると仮定する仮説に基づいている。 この仮説に基づいて、画像領域をBOWモデルで効率よく表現し、SVMのような機械学習アプローチを使用して、セマンティックアノテーションで画像領域をラベル付けすることができる。
  論文  参考訳（メタデータ） (2022-10-17T12:57:51Z)
• Towards visually prompted keyword localisation for zero-resource spoken languages [27.696096343873215]
  視覚的に誘導されるキーワードローカライゼーション(VPKL)のタスクを定式化する。 VPKLにはキーワードの画像が与えられ、そのキーワードの発声箇所を検出して予測する。 これらの革新は,既存の音声ビジョンモデルよりもVPKLの改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-12T14:17:34Z)
• I2DFormer: Learning Image to Document Attention for Zero-Shot Image Classification [123.90912800376039]
  オンラインテキスト文書(例えばウィキペディア)には、オブジェクトクラスに関する豊富な視覚的記述が含まれている。 画像や文書のエンコードを共同で学習するトランスフォーマーベースのZSLフレームワークであるI2DFormerを提案する。 提案手法は,画像領域に文書語を接地可能な高解釈可能な結果をもたらす。
  論文  参考訳（メタデータ） (2022-09-21T12:18:31Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Keyword localisation in untranscribed speech using visually grounded speech models [21.51901080054713]
  キーワードのローカライゼーション(英: Keywords Localization)とは、ある音声の発話において、所定のクエリキーワードが発生する場所を見つけるタスクである。 VGSモデルは、音声キャプションと組み合わせたラベルのない画像に基づいて訓練される。 マスケベースのローカライゼーションは、VGSモデルから最も報告されたローカライゼーションスコアのいくつかを与える。
  論文  参考訳（メタデータ） (2022-02-02T16:14:29Z)
• Towards localisation of keywords in speech using weak supervision [30.67230721247154]
  弱監督モデルおよび自己監督モデルの開発は、完全な転写が利用できない低リソース環境での音声技術を可能にする可能性がある。 位置情報が明示的に提供されない2つの弱い監督形態を用いてキーワードのローカライズが可能かどうかを検討する。
  論文  参考訳（メタデータ） (2020-12-14T10:30:51Z)
• Seeing wake words: Audio-visual Keyword Spotting [103.12655603634337]
  KWS-Netは、類似マップ中間表現を用いてタスクをシーケンスマッチングとパターン検出に分離する新しい畳み込みアーキテクチャである。 本手法は他の言語,特にフランス語とドイツ語に一般化し,より少ない言語データで英語に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-02T17:57:38Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。