論文の概要: Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders

• arxiv url: http://arxiv.org/abs/2609.27195v1
• Date: Wed, 23 Sep 2026 00:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.812631
• Title: Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
• Title（参考訳）: 部屋のクイーター:音声エンコーダにおける表現ドリフトとタスクロバスト性
• Abstract要約: 非音声干渉は、同等のタスク損失を引き起こすことなく、音声表現を変更することができる。 8個の冷凍エンコーダを4つのタスクでテストし、録音中、音声中、または一時停止中に非音声を付加した。
• 参考スコア（独自算出の注目度）: 5.939209205879423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-speech interference can change a speech representation without causing comparable task loss. We test eight frozen encoders on four tasks, adding non-speech sounds throughout recordings, during speech, or in pauses. Under whole-recording interference, embedding drift tracks task loss across seven sounds, with mean Spearman correlations of 0.81-0.88. Moving the same sound between speech and pauses changes this pattern. At quiet to moderate levels, pause interference produces larger drift, while speech interference usually causes greater loss on intent recognition, speaker verification and speech recognition. Emotion recognition shows a weaker placement effect. Pause interference also changes speech-frame representations beyond the injected region. Even below the estimated recording background, interference can change embeddings as much as repeated speech takes do. Drift helps rank the effects of different sounds, but larger drift does not consistently indicate greater task loss.
• Abstract（参考訳）: 非音声干渉は、同等のタスク損失を引き起こすことなく、音声表現を変更することができる。 8個の冷凍エンコーダを4つのタスクでテストし、録音中、音声中、または一時停止中に非音声を付加した。 全体の干渉下では、ドリフトトラックの埋め込みは7つの音間でのタスク損失であり、平均スピアマン相関は0.81-0.88である。 音声と一時停止の間に同じ音を移動すると、このパターンが変わる。 静かから中程度のレベルでは、停止干渉はより大きなドリフトを引き起こすが、音声干渉は通常、意図認識、話者検証、音声認識により大きな損失をもたらす。 感情認識は、より弱い配置効果を示す。 ポーズ干渉は、注入された領域を超えて音声フレームの表現も変更する。 推定された記録背景より下でも、干渉は繰り返し音声が行うように埋め込みを変更できる。 ドリフトは異なる音の影響をランク付けするのに役立つが、大きなドリフトが常に大きなタスク損失を示すわけではない。

関連論文リスト

• Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement [18.242838507326024]
  本研究は、トレーニングにおける過剰な沈黙の効果を緩和し、STOIを0.55から0.60に改善し、周波数重み付きSNRを4.35から5.12に改善する新しい損失関数を提案する。 本研究は、トレーニングにおける過剰な沈黙の効果を緩和し、STOIを0.55から0.60に改善し、周波数重み付きSNRを4.35から5.12に改善する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2026-09-22T09:55:11Z)
• Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models [49.372283081631366]
  AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。 モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
  論文  参考訳（メタデータ） (2026-09-08T07:59:13Z)
• Mitigating Intra-Speaker Variability in Diarization with Style-Controllable Speech Augmentation [6.289152035711056]
  多様なスタイルで音声を増強するスタイル制御可能な音声生成モデルを提案する。 提案システムは,従来のダイアリザのダイアリゼーションセグメントから開始する。 オリジナルのオーディオと生成されたオーディオの両方からの話者埋め込みは、システムの堅牢性を高めるためにブレンドされる。
  論文  参考訳（メタデータ） (2025-09-18T05:21:20Z)
• Continuous Modeling of the Denoising Process for Speech Enhancement Based on Deep Learning [61.787485727134424]
  状態変数をデノナイジングプロセスを示すために使用します。 UNetのようなニューラルネットワークは、連続的復調プロセスからサンプリングされたすべての状態変数を推定することを学ぶ。 実験結果から, クリーンターゲットに少量の雑音を保存することは, 音声強調に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-17T13:27:11Z)
• Speaker Extraction with Co-Speech Gestures Cue [79.91394239104908]
  話者抽出のための話者キューとして,手動や体の動きなど,共同音声ジェスチャシーケンスの活用について検討する。 目標話者に対する注意深い聴取を行うために,共音声ジェスチャキューを用いて2つのネットワークを提案する。 実験結果から, 対象話者の関連付けにおいて, 共音声のジェスチャーキューが有意であり, 抽出した音声の品質は未処理の混合音声よりも有意に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-31T06:48:52Z)
• Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation [59.41186714127256]
  変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T08:59:36Z)
• PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction [90.55375210094995]
  音声強調は、背景雑音の抑制による音声信号の知覚品質の向上を目的としている。 本稿では,頑健な話者表現抽出のためのエンドツーエンドディープラーニングフレームワークPL-EESRを提案する。
  論文  参考訳（メタデータ） (2021-10-03T07:05:29Z)
• Adversarially learning disentangled speech representations for robust multi-factor voice conversion [39.91395314356084]
  本稿では,敵対的学習に基づくアンタングル型音声表現学習フレームワークを提案する。 内容、音色、リズム、ピッチを特徴付ける4つの音声表現を抽出し、さらに混乱させる。 実験の結果,提案手法はVCの頑健性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-01-30T08:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。