論文の概要: PAST: Phonetic-Acoustic Speech Tokenizer

• arxiv url: http://arxiv.org/abs/2505.14470v1
• Date: Tue, 20 May 2025 15:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.451279
• Title: PAST: Phonetic-Acoustic Speech Tokenizer
• Title（参考訳）: PAST:音声-音響音声トケナイザ
• Authors: Nadav Har-Tuv, Or Tal, Yossi Adi,
• Abstract要約: PASTは、信号再構成と共に音声情報を共同でモデル化するエンドツーエンドフレームワークである。 我々は,リアルタイム音声アプリケーションを実現するために,PASTのストリームで因果的な変形を導入した。 その結果、PASTは一般的な評価指標で既存のベースライントークンを超越していることがわかった。
• 参考スコア（独自算出の注目度）: 21.375594069962496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present PAST, a novel end-to-end framework that jointly models phonetic information alongside signal reconstruction, eliminating the need for external pretrained models. Unlike previous approaches that rely on pretrained self-supervised models, PAST employs supervised phonetic data, directly integrating domain knowledge into the tokenization process via auxiliary tasks. Additionally, we introduce a streamable, causal variant of PAST, enabling real-time speech applications. Results demonstrate that PAST surpasses existing evaluated baseline tokenizers across common evaluation metrics, including phonetic representation and speech reconstruction. Notably, PAST also achieves superior performance when serving as a speech representation for speech language models, further highlighting its effectiveness as a foundation for spoken language generation. To foster further research, we release the full implementation. For code, model checkpoints, and samples see: https://pages.cs.huji.ac.il/adiyoss-lab/PAST
• Abstract（参考訳）: PASTは、信号再構成とともに音声情報を協調的にモデル化し、外部の事前訓練されたモデルを必要としない新しいエンドツーエンドフレームワークである。 事前訓練された自己教師付きモデルに依存する従来のアプローチとは異なり、PASTは教師付き音声データを使用し、補助的なタスクを通じてドメイン知識を直接トークン化プロセスに統合する。 さらに,リアルタイム音声アプリケーションを実現するために,PASTのストリーム型,因果型を導入している。 その結果, PASTは, 音声表現や音声再構成など, 一般的な評価指標において, 既存の評価基準となるトークンを超越していることがわかった。 特に、PASTは、音声言語モデルの音声表現として機能する際の優れた性能も達成し、さらに、音声言語生成の基礎としての有効性を強調している。 さらなる研究を促進するため、我々は完全な実装をリリースする。 コード、モデルチェックポイント、サンプルについては、https://pages.cs.huji.ac.il/adiyoss-lab/PASTを参照してください。

関連論文リスト

• OZSpeech: One-step Zero-shot Speech Synthesis with Learned-Prior-Conditioned Flow Matching [3.05024318465243]
  OZSpeechは1ステップのサンプリングで最適な輸送条件流を探索する最初のTS法である。 提案手法は,各音声属性の正確なモデリングを可能にするために,トークン形式における音声の非交叉分解成分を演算する。 実験の結果,提案手法は,コンテンツ精度,自然性,韻律生成,話者スタイルの保存において,既存の手法よりも有望な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-19T07:31:55Z)
• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM [19.36630667212398]
  本稿では,事前学習された大規模言語モデル(LLM)を適応させて,音声質問応答(QA)と音声継続を行う新しいアプローチであるSpectronを提案する。 我々のアプローチの鍵は、音声認識、テキスト継続、音声合成を共同で監督する訓練目標である。 提案手法は話者保存とセマンティック・コヒーレンスにおいて既存の言語モデルを上回る。
  論文  参考訳（メタデータ） (2023-05-24T15:39:43Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• End-to-end model for named entity recognition from speech without paired training data [12.66131972249388]
  本稿では,意味情報を抽出するエンド・ツー・エンドのニューラルモデルを構築するアプローチを提案する。 我々のアプローチは、テキストからベクトル表現のシーケンスを生成するために訓練された外部モデルを使用することに基づいている。 quEROコーパスを用いた名前付きエンティティ認識実験は,このアプローチが有望であることを示す。
  論文  参考訳（メタデータ） (2022-04-02T08:14:27Z)
• SSAST: Self-Supervised Audio Spectrogram Transformer [19.09439093130855]
  本稿では,非ラベル音声を用いた音声スペクトログラム変換器(AST)モデルを,共同識別・生成型マスマスキング・スペクトログラム・パッチ・モデリング(MSPM)で事前学習することを提案する。 我々は、音声イベント分類、キーワードスポッティング、感情認識、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。 我々の知る限りでは、このフレームワークはオーディオおよび音声領域における最初のパッチベースのセルフ教師あり学習フレームワークであり、ASTのための最初のセルフ教師あり学習フレームワークでもある。
  論文  参考訳（メタデータ） (2021-10-19T07:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。