論文の概要: Deep Speech Representations Track Word Timing along a Low-Dimensional Circular Trajectory

• arxiv url: http://arxiv.org/abs/2610.16273v1
• Date: Mon, 12 Oct 2026 06:50:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:45:11.845492
• Title: Deep Speech Representations Track Word Timing along a Low-Dimensional Circular Trajectory
• Title（参考訳）: 低次元円軌道に沿った深部音声表現トラック語タイミング
• Abstract要約: 我々は,HuBERT特徴系列が同じ期間の単語間で平均化されている場合,2次元の「時空間」において,単語オンセットから単語オフセットまでのほぼ円軌道を形成することを示す。 そして、平均的な単語セグメントを超えて、HuBERTでは、円形の軌跡が単語セグメント化を行うために個々の単語のレベルで十分に整合していることを示す。
• 参考スコア（独自算出の注目度）: 18.72886146851972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech timing is fundamental for speech models to recognize words accurately, but how word-timing information is represented in speech models remains underexplored. We study this question using the framework of representational geometry, which investigates whether and how concepts are represented in low-dimensional subspaces of the representation space. Prior work in cognitive neuroscience has shown that when HuBERT feature sequences are averaged across words of the same duration, they form near-circular trajectories from word onset to word offset in a two-dimensional "temporal subspace." Here we show that this circular structure of word timing is a general property of deep speech representations, by demonstrating its emergence in nine additional speech models covering both supervised and self-supervised. We then move beyond averaged word segments and show that in HuBERT, the circular trajectories are consistent enough at the level of individual words to perform word segmentation. Our approach, Rotary Segmentation (RoSeg), achieves 64.3% boundary F-score on Librispeech by detecting word boundaries when cycles complete in the temporal subspace. Although supervision is needed to identify a good subspace, nevertheless this result demonstrates much stronger implicit word knowledge in HuBERT than has previously been shown.
• Abstract（参考訳）: 発話のタイミングは、音声モデルが単語を正確に認識する上で基本的なものであるが、音声モデルで単語を入力する情報がどのように表現されるかは、未解明のままである。 本稿では,表現空間の低次元部分空間において,概念がどのように表現されるのかを考察する,表現幾何学の枠組みを用いて考察する。 認知神経科学における以前の研究は、HuBERTの特徴列が同じ期間の単語で平均されるとき、2次元の「時間的部分空間」において単語のオンセットから単語のオフセットまでの概円軌道を形成することを示した。 ここでは、この単語タイミングの円形構造が、教師付きおよび自己教師型の両方をカバーする9つの追加音声モデルにおいて、その出現を示すことによって、深層音声表現の一般的な特性であることを示す。 そして、平均的な単語セグメントを超えて、HuBERTでは、円形の軌跡が単語セグメント化を行うために個々の単語のレベルで十分に整合していることを示す。 我々のアプローチであるRotary Segmentation (RoSeg)は、時空間で周期が完了すると単語境界を検出することにより、リブリスペック上の64.3%境界Fスコアを達成する。 優れた部分空間を特定するには監督が必要であるが、それでもこの結果は、これまで示されていたよりもずっと強い暗黙の単語知識を示す。

関連論文リスト

• Recognizing Co-Speech Gestures in-the-Wild [52.804383193630166]
  GRW(Gesture Recognition in the Wild)データセットは156,688本のビデオクリップを手動でアノテートする。 GRWは、物理的行動、空間記述子、抽象概念の非常に多様な150ワードの分類である。 我々はGRWを利用してビデオモデルを訓練し、ジェスチャーを意味的か否かを分類し、(b)共同音声のジェスチャーに対応する単語を認識し、(c)ジェスチャーを時間的に局所化する。
  論文  参考訳（メタデータ） (2026-05-29T17:55:17Z)
• Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs [15.914430317382077]
  音声とテキストの表現が階層的にどのように進化するかを分析する。 音声表現は、冗長な音声の性質に起因して、広い層間アライメントバンドを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:21:43Z)
• SD-HuBERT: Sentence-Level Self-Distillation Induces Syllabic Organization in HuBERT [45.729377551100676]
  音声の文レベル表現の学習において,音節的組織が出現することを示す。 本稿では,音声の文レベル表現を評価するための新しいベンチマークタスクであるSpken Speech ABXを提案する。
  論文  参考訳（メタデータ） (2023-10-16T20:05:36Z)
• Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study [68.88536866933038]
  音声信号は、通常、毎秒数万のレートでサンプリングされ、冗長性を含んでいる。 近年の研究では、自己教師型学習表現から派生した離散音声単位の使用が提案されている。 復号化やサブワードモデリングなどの様々な手法を適用することで、さらに音声列の長さを圧縮することができる。
  論文  参考訳（メタデータ） (2023-09-27T17:21:13Z)
• Unsupervised Word Segmentation Using Temporal Gradient Pseudo-Labels [35.458787162722665]
  近年の深層自己監督機能は単語セグメンテーションに非常に有効であるが,分類ヘッドの訓練には指導が必要であることが示唆された。 教師なし単語セグメンテーションにその効果を拡大するため,擬似ラベル方式を提案する。 その単純さと高速な実行時間にもかかわらず、我々の手法は2つのデータセット上で以前の方法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-03-30T17:59:46Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。