論文の概要: HuBERTopic: Enhancing Semantic Representation of HuBERT through Self-supervision Utilizing Topic Model

• arxiv url: http://arxiv.org/abs/2310.03975v1
• Date: Fri, 6 Oct 2023 02:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-10 03:44:19.299933
• Title: HuBERTopic: Enhancing Semantic Representation of HuBERT through Self-supervision Utilizing Topic Model
• Title（参考訳）: HuBERTopic: トピックモデルを活用した自己スーパービジョンによるHumberTのセマンティック表現の強化
• Authors: Takashi Maekaku, Jiatong Shi, Xuankai Chang, Yuya Fujita, Shinji Watanabe
• Abstract要約: 本稿では,HuBERTのセマンティック表現を豊かにするための新しいアプローチを提案する。 トピックラベルを教師として使用することにより、HuBERTに補助的なトピック分類タスクを追加する。 実験の結果,本手法は,ほとんどのタスクにおいて,ベースラインと同等あるいは優れた性能を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 62.995175485416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the usefulness of self-supervised representation learning (SSRL) methods has been confirmed in various downstream tasks. Many of these models, as exemplified by HuBERT and WavLM, use pseudo-labels generated from spectral features or the model's own representation features. From previous studies, it is known that the pseudo-labels contain semantic information. However, the masked prediction task, the learning criterion of HuBERT, focuses on local contextual information and may not make effective use of global semantic information such as speaker, theme of speech, and so on. In this paper, we propose a new approach to enrich the semantic representation of HuBERT. We apply topic model to pseudo-labels to generate a topic label for each utterance. An auxiliary topic classification task is added to HuBERT by using topic labels as teachers. This allows additional global semantic information to be incorporated in an unsupervised manner. Experimental results demonstrate that our method achieves comparable or better performance than the baseline in most tasks, including automatic speech recognition and five out of the eight SUPERB tasks. Moreover, we find that topic labels include various information about utterance, such as gender, speaker, and its theme. This highlights the effectiveness of our approach in capturing multifaceted semantic nuances.
• Abstract（参考訳）: 近年,下流タスクにおいて自己教師付き表現学習(SSRL)手法の有用性が確認されている。 これらのモデルの多くは、 HuBERT や WavLM によって例示されているように、スペクトル特徴やモデル独自の表現特徴から生成された擬似ラベルを使用している。 従来の研究では、擬似ラベルには意味情報が含まれていることが知られている。 しかし、HuBERTの学習基準であるマスク付き予測タスクは、局所的な文脈情報に焦点を当てており、話者や発話のテーマなどのグローバルな意味情報を効果的に活用することができない。 本稿では,HuBERTのセマンティック表現を強化するための新しいアプローチを提案する。 擬似ラベルにトピックモデルを適用し,発話毎にトピックラベルを生成する。 トピックラベルを教師として使用することにより、HuBERTに補助トピック分類タスクを追加する。 これにより、追加のグローバルセマンティクス情報を教師なしの方法で組み込むことができる。 実験の結果,音声認識や8つのスーパータスクのうち5つを含む,ほとんどのタスクにおけるベースラインと同等あるいは優れた性能が得られることがわかった。 さらに, 話題ラベルには, ジェンダー, 話者, テーマなど, 発話に関する様々な情報が含まれていることがわかった。 これは多面的意味ニュアンスをキャプチャする手法の有効性を強調している。

関連論文リスト

• Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning [23.671999163027284]
  本稿では,学習データを持たないマルチラベル画像認識のための新しいフレームワークを提案する。 事前学習されたLarge Language Modelの知識を使用して、CLIPのような事前学習されたVision-Language Modelをマルチラベル分類に適応させるプロンプトを学ぶ。 本フレームワークは,新しいカテゴリー認識のための複数の事前学習モデル間の相乗効果を探索する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-02T13:43:32Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Label Aware Speech Representation Learning For Language Identification [49.197215416945596]
  本稿では,自己指導型表現学習と事前学習タスクのための言語ラベル情報を組み合わせた新しいフレームワークを提案する。 このフレームワークは、ラベル認識音声表現(LASR)学習と呼ばれ、三重項に基づく目的関数を使用して、言語ラベルと自己教師付き損失関数を組み込む。
  論文  参考訳（メタデータ） (2023-06-07T12:14:16Z)
• Multi-layered Semantic Representation Network for Multi-label Image Classification [8.17894017454724]
  マルチラベル画像分類(MLIC)は,複数の可能なラベルを画像に割り当てることを目的とした,基本的で実践的な課題である。 近年,多くのディープ畳み込みニューラルネットワーク(CNN)に基づく手法が提案され,ラベル相関がモデル化されている。 本稿では,ラベル相関のモデル化と意味表現の学習を改善することにより,この研究の方向性を推し進める。
  論文  参考訳（メタデータ） (2021-06-22T08:04:22Z)
• LTIatCMU at SemEval-2020 Task 11: Incorporating Multi-Level Features for Multi-Granular Propaganda Span Identification [70.1903083747775]
  本稿では,新聞記事におけるプロパガンダ・スパン識別の課題について述べる。 本稿では,BERT-BiLSTMに基づくプロパガンダ分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-11T16:14:47Z)
• Hierarchical Image Classification using Entailment Cone Embeddings [68.82490011036263]
  まずラベル階層の知識を任意のCNNベースの分類器に注入する。 画像からの視覚的セマンティクスと組み合わせた外部セマンティクス情報の利用が全体的な性能を高めることを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-02T10:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。