論文の概要: Where Does Timbre Hide? Localizing Speaker Information in Speech Signals

• arxiv url: http://arxiv.org/abs/2610.29150v1
• Date: Wed, 21 Oct 2026 03:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.192818
• Title: Where Does Timbre Hide? Localizing Speaker Information in Speech Signals
• Title（参考訳）: 音色はどこに隠されるのか? 音声信号における話者情報の局所化
• Abstract要約: 音色類似性は生成音声システムにおいて重要な評価対象である。 我々は,周波数帯域,位相/磁気構造,WORLDソース/フィルタ分解,音声/無声領域,自己教師付き学習(SSL)層,EnCodec/HuBERTトークン,およびマンダリン,英語,日本語の音声/歌唱データにまたがる45リスナーテストを調査した。
• 参考スコア（独自算出の注目度）: 13.605563627256084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Timbre similarity is a key evaluation target for generative speech systems, including voice conversion, speaker-cloning text-to-speech, and zero-shot speech models. When the generated voice does not match the target speaker, the problem often reflects imperfect separation of speaker-related timbre from content, making it important to identify where timbre information resides and which representations still carry it. Using speaker identity as a measurable proxy, we probe frequency bands, phase/magnitude structure, WORLD source/filter decomposition, voiced/unvoiced regions, self-supervised learning (SSL) layers, EnCodec/HuBERT tokens, and a 45-listener test across Mandarin, English, and Japanese speech/singing data. Speaker information is distributed: 1--8 kHz magnitude and vocal-tract spectral-envelope structure dominate perception, above-8 kHz bands remain machine-discriminative, shallow SSL layers expose compact speaker information, and token leakage depends on tokenizer/layer choice. These findings indicate where generation systems should condition on or transform speaker information, and where content, codec, and token pipelines should audit residual speaker leakage.
• Abstract（参考訳）: 音色類似性は、音声変換、話者閉鎖音声合成、ゼロショット音声モデルなど、生成音声システムにとって重要な評価対象である。 生成した音声がターゲット話者と一致しない場合、問題はしばしば話者関連音色がコンテンツから不完全に分離されることを反映し、音色情報がどこにあるか、どの表現がそれを持っているかを特定することが重要である。 話者識別を測定可能なプロキシとして用い,周波数帯域,位相/マグニチュード構造,WORLDソース/フィルタ分解,音声/無声領域,自己教師付き学習(SSL)層,EnCodec/HuBERTトークン,マンダリン,英語,日本語の音声/歌唱データを対象とした45リスナーテストを行った。 1〜8kHzの大きさと声道スペクトルエンベロープ構造が知覚を支配し、8kHz以上の帯域は機械的に識別され、浅いSSL層はコンパクトな話者情報を公開し、トークンリークはトークン化/層選択に依存する。 これらの知見は, 生成システムが話者情報をオンにするか, 変換すべきか, コンテント, コーデック, トークンパイプラインが残留話者漏洩を検査すべきかを示す。

関連論文リスト

• SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning [39.96444209787657]
  SpeakerLLMは、単一発話話者プロファイリング、記録条件理解、発話対話者比較、自然なインタフェース内でのエビデンス-組織された検証推論を統一する話者特化オーディオ-LLMフレームワークである。 SpeakerLLMは、複数の粒度の話者証拠をキャプチャするために設計された階層型話者トークンライザを使用する。
  論文  参考訳（メタデータ） (2026-05-14T16:36:57Z)
• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• ExPO: Explainable Phonetic Trait-Oriented Network for Speaker Verification [48.98768967435808]
  我々は,音声が登録話者の同一性に一致するかどうかを検証するために,計算手法を用いる。 多くの成功にもかかわらず、我々はまだ説明可能な結果を提供する話者検証システムを開発していない。 本稿では, 話者の音声特性を紹介するために, 説明可能な音声トラヒック指向(ExPO)ネットワークを提案する。
  論文  参考訳（メタデータ） (2025-01-10T05:53:37Z)
• CrossSpeech: Speaker-independent Acoustic Representation for Cross-lingual Speech Synthesis [7.6883773606941075]
  CrossSpeechは、話者と言語情報を効果的に切り離すことで、言語間音声の品質を向上させる。 実験により,CrossSpeechが言語間TSの大幅な改善を実現することを確認した。
  論文  参考訳（メタデータ） (2023-02-28T07:51:10Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• Are disentangled representations all you need to build speaker anonymization systems? [0.0]
  音声信号には、話者のアイデンティティなど、多くの機密情報が含まれている。 話者匿名化は、音源話者の身元をそのまま残しながら、音声信号を変換し、音源話者の身元を除去することを目的としている。
  論文  参考訳（メタデータ） (2022-08-22T07:51:47Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Speaker De-identification System using Autoencoders and Adversarial Training [58.720142291102135]
  本稿では,対人訓練とオートエンコーダに基づく話者識別システムを提案する。 実験結果から, 対向学習とオートエンコーダを組み合わせることで, 話者検証システムの誤り率が同等になることがわかった。
  論文  参考訳（メタデータ） (2020-11-09T19:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。