論文の概要: UniSE: A Unified Framework for Decoder-only Autoregressive LM-based Speech Enhancement

• arxiv url: http://arxiv.org/abs/2510.20441v1
• Date: Thu, 23 Oct 2025 11:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.824592
• Title: UniSE: A Unified Framework for Decoder-only Autoregressive LM-based Speech Enhancement
• Title（参考訳）: UniSE:デコーダのみによる自己回帰型LM音声強調のための統一フレームワーク
• Authors: Haoyin Yan, Chengwei Liu, Shaofei Xue, Xiaotao Liang, Zheng Xue,
• Abstract要約: 我々は、異なる音声強調タスクを処理するために、統一デコーダのみのLMベースのフレームワークUniSEを提案する。 入力音声特徴を条件として、ARモデリングを用いてターゲット音声の離散トークンを生成する。 実験により、提案したUniSEは差別的および生成的ベースラインと比較して競争力を発揮することが示された。
• 参考スコア（独自算出の注目度）: 3.855026553620411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of neural audio codecs (NACs) has largely promoted applications of language models (LMs) to speech processing and understanding. However, there lacks the verification on the effectiveness of autoregressive (AR) LMbased models in unifying different sub-tasks of speech enhancement (SE). In this work, we propose UniSE, a unified decoder-only LM-based framework to handle different SE tasks including speech restoration, target speaker extraction and speech separation. It takes input speech features as conditions and generates discrete tokens of the target speech using AR modeling, which facilitates a compatibility between distinct learning patterns of multiple tasks. Experiments on several benchmarks indicate the proposed UniSE can achieve competitive performance compared to discriminative and generative baselines, showing the capacity of LMs in unifying SE tasks. The demo page is available here: https://github.com/hyyan2k/UniSE.
• Abstract（参考訳）: ニューラルオーディオコーデック(NAC)の開発は、言語モデル(LM)の音声処理や理解への応用を大いに推進してきた。 しかし,音声強調(SE)のサブタスクを統一する上で,自己回帰的(AR) LM モデルの有効性の検証は不十分である。 そこで本研究では,言語復元,ターゲット話者抽出,音声分離など,異なるSEタスクを処理するための,統一デコーダのみのLMベースのフレームワークであるUniSEを提案する。 入力音声特徴を条件として、ARモデリングを用いてターゲット音声の個別トークンを生成し、複数のタスクの異なる学習パターン間の互換性を促進する。 いくつかのベンチマークで実験したところ、提案したUniSEは差別的および生成的ベースラインと比較して競合性能を達成でき、SEタスクを統一する際のLMの能力を示している。 デモページはこちら。 https://github.com/hyyan2k/UniSE.com/

関連論文リスト

• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。 提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding [51.32965203977845]
  本稿では,連続的な音声エンコーダ出力の代わりに離散音声単位(DSU)を用いることを提案する。 提案モデルでは, 未知領域からの音声入力に対する頑健な性能と, 音声質問応答における指示追従能力を示す。 この結果から,ASRタスクとデータセットは,音声質問応答タスクの指導訓練に必須ではないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T17:28:13Z)
• SLM: Bridge the thin gap between speech and text foundation models [45.319071954143325]
  音声・言語モデル (SLM) は、事前訓練された基礎言語モデルと言語モデルを利用するマルチタスク、多言語、二重モーダルモデルである。 我々は、SLMは訓練に効率的であるが、異なるモダリティの基盤モデルで既に獲得されている強力な能力を継承することを示した。
  論文  参考訳（メタデータ） (2023-09-30T02:27:45Z)
• SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts [108.04306136086807]
  本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。 提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-03T22:35:27Z)
• VioLA: Unified Codec Language Models for Speech Recognition, Synthesis, and Translation [91.39949385661379]
  VioLAは1つの自動回帰トランスフォーマーデコーダのみのネットワークで、音声とテキストを含む様々なモーダルタスクを統合する。 まず、オフラインのニューラルエンコーダを用いて、全ての発話を個別のトークンに変換する。 さらに,タスクID(TID)と言語ID(LID)をモデルに統合し,異なる言語やタスクを扱うモデリング能力を向上させる。
  論文  参考訳（メタデータ） (2023-05-25T14:39:47Z)
• Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM [19.36630667212398]
  本稿では,事前学習された大規模言語モデル(LLM)を適応させて,音声質問応答(QA)と音声継続を行う新しいアプローチであるSpectronを提案する。 我々のアプローチの鍵は、音声認識、テキスト継続、音声合成を共同で監督する訓練目標である。 提案手法は話者保存とセマンティック・コヒーレンスにおいて既存の言語モデルを上回る。
  論文  参考訳（メタデータ） (2023-05-24T15:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。