論文の概要: Probing the phon* representations of the Mimi codebooks
- arxiv url: http://arxiv.org/abs/2610.35432v1
- Date: Mon, 26 Oct 2026 13:36:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.013837
- Title: Probing the phon* representations of the Mimi codebooks
- Title（参考訳）: Mimiコードブックのphon*表現の探索
- Abstract要約: 本研究では,三味文字の第1コードブック(CB0)における音声表現について検討する。
ABXスタイルの評価は、複数の音素にまたがる固定80msのトークン化ウィンドウにはあまり適していない。
代わりに、強制アライメント、エントロピー解析、PNMI(Phone-Normalized Mutual Information)を用いる。
個々のトークンは特定の音素と強く結びついているが、音素は1対1のマッピングではなく、複数の競合するトークンによって実現される。
- 参考スコア（独自算出の注目度）: 0.9419361276896393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural audio codecs are increasingly used to encode speech for integration with large language models. This paper investigates the phonetic representations in the first codebook (CB0) of the Mimi codec. ABX style evaluation is poorly suited to Mimi fixed 80 ms tokenization window, which often spans multiple phonemes; we instead use forced alignment, entropy analysis, and Phone-Normalized Mutual Information (PNMI). Using TIMIT speech (58/55 speakers, SA1/SA2), individual tokens are strongly associated with specific phonemes (PNMI = 0.84, above random), yet phonemes are realized by multiple competing tokens rather than a one-to-one mapping.
- Abstract（参考訳）: ニューラルオーディオコーデックは、大規模言語モデルとの統合のために音声をエンコードするためにますます使われている。
本稿では,三味コーデックの第1コーデック(CB0)における音声表現について検討する。
ABX方式の評価は,複数の音素にまたがる固定80msのトークン化ウィンドウにはあまり適さないが,代わりに強制アライメント,エントロピー解析,PNMI(Phone-Normalized Mutual Information)を用いる。
TIMIT音声(58/55話者、SA1/SA2)を用いて、個々のトークンは特定の音素(PNMI = 0.84)と強く結びついているが、音素は1対1のマッピングではなく、複数の競合するトークンによって実現されている。
関連論文リスト
- ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence [34.94467140023976]
音声および音声言語モデルは、主にテキストデータに基づいて事前訓練されたデコーダに連続した音響表現を接続する。
本稿では,C-Gateインタフェースを凍結テキスト埋め込みの連続凸結合として表現した汎用音声・音声言語モデルであるConvexLLMを提案する。
論文 参考訳（メタデータ） (2026-10-16T14:35:04Z) - TokenMapper: A Step Toward Interoperable Speech Token Translation [8.31951995439269]
TokenMapperは、音声トークン化者間で直接トークン変換を行うための方向認識フレームワークである。
GLM-4-Voice、MiMi、DualCodecの実験では、一貫したクロスモデル性能を示している。
その結果,中間波形再構成を伴わないクロスモデル音声トークンの相互運用に向けた実践的なステップが得られた。
論文 参考訳（メタデータ） (2026-09-11T08:04:09Z) - Using the Mimi codec for metalinguistic representations [0.9419361276896393]
そこで本研究では,Mimiを用いたABX実験において,意味トークンのマッピングを電話実現に利用できないことを示す。
TIMITコーパスの転写にミミ表現を適応させることにより、2048年の意味コードブックマップのトークンIDがクアッドフォン、トリホン、バイフォン、電話、サブホンの実現に役立てられることを示す。
論文 参考訳（メタデータ） (2026-08-16T15:25:23Z) - Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas [76.70045115464431]
DramaSR-LRMはマルチモーダルツールを使った多種多様な入力を通じて文脈証拠を自律的に集約して高忠実な帰属を実現するように設計されている。
実験の結果,DramaSR-LRMは既存のベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2026-07-02T17:58:52Z) - UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception [53.41256816230278]
UniAudio-Tokenは、音声の能力を損なうことなく、一般的な音声知覚でセマンティック・トークン化を可能にするフレームワークである。
SAPは、音声による構造化された監視を言語コンテンツ、声質属性、聴覚シーンプリミティブに提供します。
SAEは、浅い層から微細な音響的詳細を適応的に復元するコンテンツ認識ゲーティング機構を導入している。
論文 参考訳（メタデータ） (2026-05-29T16:36:21Z) - Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens [31.575335190916995]
本稿では,音声を2つの補完トークンタイプに分解する単一ストリーム音声であるBiCodecを利用した新しいシステムであるSpark-TTSを紹介する。
制御可能なTSの研究を容易にするために,包括的な属性アノテーションを備えた10000時間データセットであるVoxBoxを紹介した。
論文 参考訳（メタデータ） (2025-03-03T16:23:10Z) - Learning Speech Representation From Contrastive Token-Acoustic
Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文 参考訳（メタデータ） (2023-09-01T12:35:43Z) - SoundChoice: Grapheme-to-Phoneme Models with Semantic Disambiguation [10.016862617549991]
本稿では,単語レベルで操作するのではなく文全体を処理可能な新しいGrapheme-to-Phoneme(G2P)アーキテクチャであるSoundChoiceを提案する。
SoundChoiceは、LibriSpeechとWikipediaのデータを用いて全文の書き起こしで2.65%のPhoneme Error Rate(PER)を達成する。
論文 参考訳（メタデータ） (2022-07-27T01:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。