論文の概要: Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech

• arxiv url: http://arxiv.org/abs/2410.01162v1
• Date: Wed, 2 Oct 2024 01:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:50:44.202572
• Title: Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech
• Title（参考訳）: 凍結型大規模言語モデルは音声のパラ言語的側面を知覚できる
• Authors: Wonjune Kang, Junteng Jia, Chunyang Wu, Wei Zhou, Egor Lakomkin, Yashesh Gaur, Leda Sari, Suyoun Kim, Ke Li, Jay Mahadeokar, Ozlem Kalinli,
• Abstract要約: 大きな言語モデル(LLM)は、ユーザーの感情や会話スタイルを考慮に入れられる。 本研究では,音声エンコーダを用いたエンドツーエンドシステムを提案する。 このトレーニングフレームワークにより,音声中の意味的情報とパラ言語的情報の両方をキャプチャするトークンをエンコーダが生成できることがわかった。
• 参考スコア（独自算出の注目度）: 29.847183061204436
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As speech becomes an increasingly common modality for interacting with large language models (LLMs), it is becoming desirable to develop systems where LLMs can take into account users' emotions or speaking styles when providing their responses. In this work, we study the potential of an LLM to understand these aspects of speech without fine-tuning its weights. To do this, we utilize an end-to-end system with a speech encoder; the encoder is trained to produce token embeddings such that the LLM's response to an expressive speech prompt is aligned with its response to a semantically matching text prompt where the speaker's emotion has also been specified. We find that this training framework allows the encoder to generate tokens that capture both semantic and paralinguistic information in speech and effectively convey it to the LLM, even when the LLM remains completely frozen. We also explore training on additional emotion and style-related response alignment tasks, finding that they further increase the amount of paralinguistic information explicitly captured in the speech tokens. Experiments demonstrate that our system is able to produce higher quality and more empathetic responses to expressive speech prompts compared to several baselines.
• Abstract（参考訳）: 音声が大規模言語モデル(LLM)と対話するための一般的なモダリティとなるにつれ,LLMがユーザの感情や発話スタイルを考慮に入れたシステムを開発することが求められている。 本研究では,LLMが重みを微調整することなく音声のこれらの側面を理解する可能性について検討する。 エンコーダは,表現的音声プロンプトに対するLLMの応答が,話者の感情が特定された意味的に一致するテキストプロンプトに対する応答と一致するように,トークン埋め込みを生成するように訓練される。 このトレーニングフレームワークにより,LLM が完全に凍結されている場合でも,音声中の意味的情報とパラ言語的情報の両方を捕捉し,LLM に効果的に伝達するトークンを生成することができる。 また、追加の感情とスタイルに関連した応答アライメントタスクのトレーニングについても検討し、音声トークンで明示的にキャプチャされたパラ言語情報の量をさらに増やすことを見出した。 実験により,本システムでは,複数のベースラインと比較して,表現的発話のプロンプトに対して,より高品質で共感的な応答が得られることが示された。

関連論文リスト

• SparQLe: Speech Queries to Text Translation Through LLMs [0.8901073744693314]
  そこで本研究では,自己教師型音声表現と命令調整型LLMを併用して,音声からテキストへの翻訳を行う手法を提案する。 実験により,本手法は入力音声の意味的内容を効果的に保存し,自己教師型音声モデルと命令調整型LLMの効果的なブリッジとして機能することが示された。
  論文  参考訳（メタデータ） (2025-02-13T12:57:15Z)
• Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data [33.85748258158527]
  共感的対話は人間とコンピュータの自然な相互作用に不可欠である。 大規模言語モデル(LLM)は、その強力な能力を活用して対話生成に革命をもたらした。 本稿では,質問応答データの必要性を回避する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-19T04:10:53Z)
• Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning [13.113505050543298]
  本稿では,音声入力を処理可能な大規模言語モデルを提案する。 人間の嗜好に基づく強化学習でさらに調整することで、従来の微調整よりも混乱した音声に適応できることが示される。
  論文  参考訳（メタデータ） (2024-12-25T00:16:22Z)
• Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。 本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。 そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:34:24Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 提案手法では,WavLMとWhisperエンコーダを用いて,話者の特徴や意味的文脈に敏感な多面的音声表現を抽出する。 包括的実験により,カクテルパーティーのシナリオにおいて提案システムであるMT-LLMが期待できる性能を示した。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts [108.04306136086807]
  本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。 提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-03T22:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。