論文の概要: An Empirical Analysis of Discrete Unit Representations in Speech Language Modeling Pre-training

• arxiv url: http://arxiv.org/abs/2509.05359v1
• Date: Wed, 03 Sep 2025 18:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.457807
• Title: An Empirical Analysis of Discrete Unit Representations in Speech Language Modeling Pre-training
• Title（参考訳）: 事前学習による音声認識における離散単位表現の実証分析
• Authors: Yanis Labrak, Richard Dufour, Mickaël Rouvier,
• Abstract要約: モデルアーキテクチャ、データ表現、トレーニングロバスト性が事前学習ステージにどのように影響するかを系統的に検討する。 クラスタ分布と音韻アライメントを調べた結果,離散語彙の有効利用について検討した。
• 参考スコア（独自算出の注目度）: 8.613149007067143
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper investigates discrete unit representations in Speech Language Models (SLMs), focusing on optimizing speech modeling during continual pre-training. In this paper, we systematically examine how model architecture, data representation, and training robustness influence the pre-training stage in which we adapt existing pre-trained language models to the speech modality. Our experiments highlight the role of speech encoders and clustering granularity across different model scales, showing how optimal discretization strategies vary with model capacity. By examining cluster distribution and phonemic alignments, we investigate the effective use of discrete vocabulary, uncovering both linguistic and paralinguistic patterns. Additionally, we explore the impact of clustering data selection on model robustness, highlighting the importance of domain matching between discretization training and target applications.
• Abstract（参考訳）: 本稿では,言語モデル(SLM)における離散単位表現について検討し,継続事前学習時の音声モデリングの最適化に着目した。 本稿では,モデルアーキテクチャ,データ表現,トレーニングロバスト性が,既存の事前学習言語モデルを音声モダリティに適応させる事前学習ステージにどのように影響するかを,体系的に検討する。 実験では,異なるモデルスケールにおける音声エンコーダとクラスタリングの粒度の役割を強調し,モデルキャパシティに最適な離散化戦略がどう変化するかを示した。 クラスタ分布と音韻アライメントを調べた結果,離散語彙の有効利用について検討し,言語とパラ言語の両方のパターンを明らかにする。 さらに、クラスタリングデータ選択がモデルロバスト性に与える影響について検討し、離散化トレーニングとターゲットアプリケーション間のドメインマッチングの重要性を強調した。

関連論文リスト

• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
  最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。 英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。 以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
  論文  参考訳（メタデータ） (2024-10-17T09:48:08Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Augmentation Invariant Discrete Representation for Generative Spoken Language Modeling [41.733860809136196]
  生成言語モデリングのための頑健な離散音声表現を効果的かつ効率的に学習する手法を提案する。 提案手法は、音声信号に一連の信号変換を適用し、反復的な擬似ラベル方式を用いてモデルを最適化することに基づく。 さらに、スペイン語とフランス語の翻訳を考慮し、音声から音声への翻訳作業における手法の評価を行い、提案手法が評価基準よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T14:15:03Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。