Fugu-MT 論文翻訳(概要): Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0

論文の概要: Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0

arxiv url: http://arxiv.org/abs/2508.08110v1
Date: Mon, 11 Aug 2025 15:48:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-12 21:23:29.18341
Title: Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
Title（参考訳）: 反復的改善は訓練対象ではなく、HuBERTをwav2vec 2.0とは異なる動作にさせる
Authors: Robin Huo, Ewan Dunbar,
Abstract要約: 隠れ表現と単語の同一性, 音素の同一性, 話者の同一性に対する標準的相関の相違は, 学習目的ではなく, 訓練によって説明できることが判明した。本稿では,自己教師型音声表現における言語情報の符号化における反復的改良の有効性について検討することを提案する。
参考スコア（独自算出の注目度）: 6.529421602373836
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-supervised models for speech representation learning now see widespread use for their versatility and performance on downstream tasks, but the effect of model architecture on the linguistic information learned in their representations remains under-studied. This study investigates two such models, HuBERT and wav2vec 2.0, and minimally compares two of their architectural differences: training objective and iterative pseudo-label refinement through multiple training iterations. We find that differences in canonical correlation of hidden representations to word identity, phoneme identity, and speaker identity are explained by training iteration, not training objective. We suggest that future work investigate the reason for the effectiveness of iterative refinement in encoding linguistic information in self-supervised speech representations.
Abstract（参考訳）: 音声表現学習のための自己教師型モデルは、下流タスクにおける汎用性や性能に広く利用されているが、モデルアーキテクチャが表現で学習した言語情報に与える影響は未研究のままである。本研究では,HuBERTとwav2vec 2.0の2つのモデルについて検討し,そのアーキテクチャ上の違いを最小限に比較した。隠れ表現と単語の同一性、音素の同一性、話者の同一性との標準的相関の相違は、訓練の反復によって説明され、訓練対象ではない。本稿では,自己教師型音声表現における言語情報の符号化における反復的改良の有効性について検討することを提案する。

関連論文リスト

Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文参考訳（メタデータ） (2024-02-08T16:55:21Z)
Learning Semantic Information from Raw Audio Signal Using Both Contextual and Phonetic Representations [18.251845041785906]
本稿では,2種類の表現を用いて生音声信号から意味を学習するフレームワークを提案する。本稿では,時間分解能の異なる2種類の表現をキャプチャする音声対単位処理パイプラインを提案する。言語モデルでは、両タイプの表現を組み込むためにデュアルチャネルアーキテクチャを採用する。
論文参考訳（メタデータ） (2024-02-02T10:39:58Z)
Mispronunciation detection using self-supervised speech representations [10.010024759851142]
本稿では,第2言語学習者の誤発音検出作業におけるSSLモデルの利用について検討する。そこで本研究では,1)母国英語データを用いた音声認識モデルの訓練,2)非母国英語データを用いた目標タスクのためのモデルを直接訓練する,という2つのダウンストリームアプローチを比較した。
論文参考訳（メタデータ） (2023-07-30T21:20:58Z)
Probing self-supervised speech models for phonetic and phonemic information: a case study in aspiration [17.94683764469626]
我々は,これらのモデルの学習表現が,人間による基本的な表現区別とどのように一致しているかを評価する。これらのモデルのアーキテクチャの初期層には、音韻と音韻の区別の堅牢な表現が出現している。以上の結果から,HuBERTは抽象音韻的区別に対応する低雑音・低次元部分空間を導出することがわかった。
論文参考訳（メタデータ） (2023-06-09T20:07:22Z)
Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
蒸留自己監督モデルは近年、競争性能と効率性を示している。 We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-02-24T17:15:39Z)
An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition [98.70304981174748]
本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
論文参考訳（メタデータ） (2021-10-09T15:06:09Z)
A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss [37.8626106992769]
本研究は,モデルが相互に反応し,セマンティックな類似度にスコア付けするための学習目標を最小化する効果について考察する。目標指向対話における次の発話生成タスクにおける2つの異なるデータセットについて、このアイデアを探求する。
論文参考訳（メタデータ） (2021-06-20T04:39:29Z)
Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文参考訳（メタデータ） (2021-03-11T06:47:45Z)
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-30T08:56:53Z)
InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。コントラスト学習に基づく新しい事前学習課題を提案する。単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
論文参考訳（メタデータ） (2020-07-15T16:58:01Z)
Analysis of Predictive Coding Models for Phonemic Representation Learning in Small Datasets [0.0]
本研究では,音素識別タスクにおける2つの予測符号化モデル,自動回帰予測符号化とコントラスト予測符号化の挙動について検討した。実験の結果, 自己回帰損失と音素識別スコアとの間には, 強い相関関係が認められた。 CPCモデルは、トレーニングデータを渡した後既に急速に収束しており、平均すると、その表現は両方の言語でのAPCよりも優れています。
論文参考訳（メタデータ） (2020-07-08T15:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。