論文の概要: Do speech foundation models really learn words?

• arxiv url: http://arxiv.org/abs/2609.10434v1
• Date: Wed, 09 Sep 2026 16:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.116139
• Title: Do speech foundation models really learn words?
• Title（参考訳）: 音声基礎モデルは本当に単語を学ぶのか?
• Abstract要約: 単語の良質な識別は、単語形式(音素)の良質な符号化によって説明できる。 後続の層では、HuBERTとwav2vec 2.0は、局所的な音声コンテンツとは無関係に、適切な忠実度で単語を符号化する表現を一般的に学習する。
• 参考スコア（独自算出の注目度）: 4.9931954371955465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised speech foundation models are now used in a wide array of downstream applications, including traditional speech recognition and as the basis for tokens in speech-aware language models. Attempts to understand their usefulness have largely focused on probing their representations' ability to discriminate phonemes and words. However, discriminative ability for words need not imply specialized representation of words per se. Good discrimination of words may be explained by good encoding of word form (phonemes) rather than form-independent word representations encoding identity or syntactic/semantic properties. By partialling out phoneme information using residualization, we show that, in later layers, HuBERT and wav2vec 2.0 do in general learn representations which encode words with reasonable fidelity independently of local phonetic content. We show that this simple approach to disentanglement can enhance higher-order linguistic information in word discovery tasks.
• Abstract（参考訳）: 自己教師型音声基礎モデルは、従来の音声認識や音声認識言語モデルにおけるトークンの基盤など、幅広いダウンストリームアプリケーションで使用されている。 彼らの有用性を理解しようとする試みは、その表現の音素や単語を識別する能力の探索に主に焦点を合わせてきた。 しかし、単語の識別能力は個々の単語の特殊表現を暗示する必要はない。 単語の優れた識別は、同一性や構文・意味的特性を符号化する形式に依存しない単語表現よりも、単語形式(音素)の優れた符号化によって説明できる。 残音化を用いて音素情報を部分化することにより,HuBERTとwav2vec 2.0は局所的な音声コンテンツとは無関係に適切な単語を符号化する表現を一般的に学習することを示す。 単語発見タスクにおいて、この単純な解離に対するアプローチは、高次言語情報を高めることができることを示す。

関連論文リスト

• Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding [23.312539472103566]
  我々は、ヒンディー語で書かれた英語のキーワードを、その単語の音声的実現にどうマッピングできるかを検討する。 本研究は,言語間単語音声マッピングを視覚的接地から直接学習できることを実証する。
  論文  参考訳（メタデータ） (2026-08-27T10:22:07Z)
• Speech Codec Probing from Semantic and Phonetic Perspectives [49.01048570474675]
  音声トークン化器は,マルチモーダルシステムにおいて,音声を大言語モデル (LLM) に接続するために必須である。 新たな証拠は、音声表現において「意味」と呼ばれるものは、テキスト由来の意味論と一致しないことを示している。
  論文  参考訳（メタデータ） (2026-03-11T03:32:25Z)
• The Curious Case of Visual Grounding: Different Effects for Speech- and Text-based Language Encoders [1.5566524830295307]
  視覚的接地が単語のモデル内表現に影響を及ぼすことを示す。 また、音声とテキストベースの言語エンコーダにも異なる効果がある。 本研究は,視覚的インフォームド・セマンティクスを用いた音声モデルを構築する上で,より効率的な手法の開発に有用であることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T10:16:58Z)
• ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
  本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。 ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
  論文  参考訳（メタデータ） (2025-07-27T00:59:01Z)
• Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
  事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。 テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
  論文  参考訳（メタデータ） (2025-05-26T07:21:20Z)
• SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge [58.979490858061745]
  セメムに基づくセマンティック知識情報を音声認識に導入する。 実験の結果,セム情報により音声認識の有効性が向上することが示された。 さらに,本実験により,セメム知識が長期データ認識を改善することが確認された。
  論文  参考訳（メタデータ） (2023-09-04T08:35:05Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Protecting gender and identity with disentangled speech representations [49.00162808063399]
  音声における性情報保護は,話者識別情報のモデル化よりも効果的であることを示す。 性別情報をエンコードし、2つの敏感な生体識別子を解読する新しい方法を提示する。
  論文  参考訳（メタデータ） (2021-04-22T13:31:41Z)
• STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning [2.28438857884398]
  本稿では、音声とテキストの絡み合いを利用して単語表現を学習する、新しいマルチモーダルディープニューラルネットワークアーキテクチャを提案する。 STEPs-RLは、対象の音声単語の音声シーケンスを予測するために教師付き方法で訓練される。 我々のモデルにより生成された潜在表現は、89.47%の精度でターゲット音素列を予測することができた。
  論文  参考訳（メタデータ） (2020-11-23T13:29:16Z)
• End-to-End Spoken Language Understanding Without Full Transcripts [38.19173637496798]
  音声入力を直接意味的エンティティに変換するエンド・ツー・エンド(E2E)音声言語理解システムを開発した。 CTCモデルとアテンションベースのエンコーダ・デコーダモデルという2つのタイプを作成した。 ATISコーパスにおける発話・発話実験では、CTCとアテンションモデルの両方が、非発話語をスキップする印象的な能力を示した。
  論文  参考訳（メタデータ） (2020-09-30T01:54:13Z)
• Analyzing autoencoder-based acoustic word embeddings [37.78342106714364]
  音響単語埋め込み(AWEs)は、その音響的特徴を符号化した単語の表現である。 本研究では,6言語でシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルにより学習したAWE空間の基本特性を解析する。 AWEは、人間の音声処理と語彙アクセスに関する様々な研究で報告されたパターンと同様、単語の発症バイアスを示す。
  論文  参考訳（メタデータ） (2020-04-03T16:11:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。