論文の概要: Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech

• arxiv url: http://arxiv.org/abs/2410.01162v2
• Date: Mon, 19 May 2025 22:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.355788
• Title: Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech
• Title（参考訳）: 凍結型大規模言語モデルは音声のパラ言語的側面を知覚できる
• Authors: Wonjune Kang, Junteng Jia, Chunyang Wu, Wei Zhou, Egor Lakomkin, Yashesh Gaur, Leda Sari, Suyoun Kim, Ke Li, Jay Mahadeokar, Ozlem Kalinli,
• Abstract要約: 本研究は、重みを微調整することなく、音声のパラ言語的側面を理解するための大規模言語モデル(LLM)の能力について研究する。 音声エンコーダを用いたエンドツーエンドシステムを用いて,LLMの表現的音声プロンプトに対する応答が意味的に一致するテキストプロンプトに対する応答と一致するように,トークン埋め込みを訓練する。
• 参考スコア（独自算出の注目度）: 29.847183061204436
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work studies the capabilities of a large language model (LLM) to understand paralinguistic aspects of speech without fine-tuning its weights. We utilize an end-to-end system with a speech encoder, which is trained to produce token embeddings such that the LLM's response to an expressive speech prompt is aligned with its response to a semantically matching text prompt that has also been conditioned on the user's speaking style. This framework enables the encoder to generate tokens that capture both linguistic and paralinguistic information and effectively convey them to the LLM, even when the LLM's weights remain completely frozen. To the best of our knowledge, our work is the first to explore how to induce a frozen LLM to understand more than just linguistic content from speech inputs in a general interaction setting. Experiments demonstrate that our system is able to produce higher quality and more empathetic responses to expressive speech prompts compared to several baselines.
• Abstract（参考訳）: 本研究は、重みを微調整することなく、音声のパラ言語的側面を理解するための大規模言語モデル(LLM)の能力について研究する。 本稿では, 音声エンコーダを用いたエンドツーエンドシステムを用いて, LLMの表現的音声プロンプトに対する応答が, ユーザの話し方で条件付けされている意味的に一致するテキストプロンプトに対する応答に一致するように, トークン埋め込みを訓練する。 このフレームワークは、LLMの重みが完全に凍結されている場合でも、エンコーダが言語情報とパラ言語情報の両方をキャプチャし、LLMに効果的に伝達するトークンを生成することができる。 我々の知識を最大限に活用するために、我々の研究は、一般の対話環境における音声入力から単なる言語的内容以上の理解を、凍結したLLMに誘導する方法を初めて探求するものである。 実験により,本システムでは,複数のベースラインと比較して,表現的発話のプロンプトに対して,より高品質で共感的な応答が得られることが示された。

関連論文リスト

• SparQLe: Speech Queries to Text Translation Through LLMs [0.8901073744693314]
  そこで本研究では,自己教師型音声表現と命令調整型LLMを併用して,音声からテキストへの翻訳を行う手法を提案する。 実験により,本手法は入力音声の意味的内容を効果的に保存し,自己教師型音声モデルと命令調整型LLMの効果的なブリッジとして機能することが示された。
  論文  参考訳（メタデータ） (2025-02-13T12:57:15Z)
• Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data [33.85748258158527]
  共感的対話は人間とコンピュータの自然な相互作用に不可欠である。 大規模言語モデル(LLM)は、その強力な能力を活用して対話生成に革命をもたらした。 本稿では,質問応答データの必要性を回避する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-19T04:10:53Z)
• Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning [13.113505050543298]
  本稿では,音声入力を処理可能な大規模言語モデルを提案する。 人間の嗜好に基づく強化学習でさらに調整することで、従来の微調整よりも混乱した音声に適応できることが示される。
  論文  参考訳（メタデータ） (2024-12-25T00:16:22Z)
• Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。 本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。 そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:34:24Z)
• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 提案手法では,WavLMとWhisperエンコーダを用いて,話者の特徴や意味的文脈に敏感な多面的音声表現を抽出する。 包括的実験により,カクテルパーティーのシナリオにおいて提案システムであるMT-LLMが期待できる性能を示した。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Prompting Large Language Models with Audio for General-Purpose Speech Summarization [13.415189715216354]
  大規模言語モデル(LLM)の処理と推論機能を活用した音声要約フレームワークを提案する。 本稿では,LLM が解釈可能なトークン表現に変換する音声エンコーダと命令調整 LLM を組み合わせたエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-10T02:04:28Z)
• Instruction-Following Speech Recognition [21.591086644665197]
  本稿では,命令追従音声認識を導入し,多様な自由形式のテキスト命令の理解と実行を行うリステン・アテンド・スペルモデルを訓練する。 注目すべきは、我々のモデルは、Librispeechでゼロから訓練され、大規模言語モデルや事前訓練された音声モジュールを必要とせずに、簡単な命令を解釈し、実行します。
  論文  参考訳（メタデータ） (2023-09-18T14:59:10Z)
• SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts [108.04306136086807]
  本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。 提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-03T22:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。