論文の概要: Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

• arxiv url: http://arxiv.org/abs/2607.02214v1
• Date: Thu, 02 Jul 2026 14:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.86938
• Title: Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning
• Title（参考訳）: 音声テキスト合成パワーのアンロック:命令追従型言語モデル
• Abstract要約: 命令調律なしで訓練された命令追従型音声言語モデルであるSpeechCombineを提案する。 音声の発話に対して連続的な事前学習を行い、音声適応モデルを得るとともに、その重みをテキストLLMの命令調整版と基本版との重み差と直接結合する。 この単純な組み合わせ戦略は、原文LLMの知識と能力を保存するだけでなく、音声領域に効果的に転送することを示す。
• 参考スコア（独自算出の注目度）: 29.582589618439982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction tuning for speech language models (SLMs) is substantially more challenging than for text-based large language models (LLMs), as it requires learning a new modality and a wide range of speech-specific instructions in addition to those supported by text LLMs. Existing SLM training approaches largely replicate the text LLM training paradigm by synthesizing large-scale speech pre-training and instruction-tuning datasets. However, this strategy is difficult to scale, since speech sequences are significantly longer than text sequences. In this paper, we propose SpeechCombine, an instruction-following speech language model trained without any instruction tuning, using only a single round of speech pre-training on 30k hours of data. Starting from a text LLM base model, we perform continuous pre-training on speech utterances to obtain a speech-adapted model, and then directly combine its weights with the weight difference between the instruction-tuned and base versions of the text LLM. Our results show that this simple combination strategy not only preserves the knowledge and capabilities of the original text LLM, but also effectively transfers them to the speech domain. These findings suggest a new direction for SLM training that avoids reliance on massive speech data.
• Abstract（参考訳）: 音声言語モデル(SLM)のインストラクションチューニングは、テキストLLMのサポートに加えて、新しいモダリティと幅広い音声固有の命令を学ぶ必要があるため、テキストベース大規模言語モデル(LLM)よりもかなり難しい。 既存のSLMトレーニングアプローチは、大規模音声事前学習と命令調整データセットを合成することにより、LLMトレーニングパラダイムをほぼ再現する。 しかし、この戦略は、音声列がテキスト列よりもかなり長いため、拡張が困難である。 本稿では,30k時間のデータに対して,1ラウンドの音声事前学習のみを用いて,命令調律なしで訓練された命令追従型音声モデルであるSpeechCombineを提案する。 テキストLLMベースモデルから、音声音声による連続事前学習を行い、音声適応モデルを取得し、その重みと、テキストLLMの命令調整版と基本版との重み差を直接結合する。 この単純な組み合わせ戦略は、原文LLMの知識と能力を保存するだけでなく、音声領域に効果的に転送することを示す。 これらの結果から,大規模音声データへの依存を避けるため,SLMトレーニングの新たな方向性が示唆された。

関連論文リスト

• Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling [52.02344262645619]
  本稿では,新しいトランス層を凍結テキストLLMに挿入し,付加層のみを音声データに基づいて訓練するマルチモーダル深さアップスケーリングを提案する。 SmolLM2-360MとSmolLM2-1.7Bによる48k時間の英語自動音声認識(ASR)データによる実験により、深度アップスケーリングは完全な微調整に匹敵するASRを実現することが示された。 さらに,テキストの劣化を75%以上低減し,トレーニング可能なパラメータを60%少なく抑えながら,大規模モデルの完全微調整に適合あるいは超越したASRを実現するために,音声認識用に設計されたアーキテクチャであるE-Branchformerを組み込むことが示される。
  論文  参考訳（メタデータ） (2026-04-01T05:16:06Z)
• SpeechMapper: Speech-to-text Embedding Projector for LLMs [8.608235759695287]
  SpeechMapper はコスト効率のよい音声からLLMへの埋め込み訓練手法である。 過度な適合を緩和し、より堅牢で一般化可能なモデルを可能にする。
  論文  参考訳（メタデータ） (2026-01-28T09:22:58Z)
• AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning [49.68129589035101]
  AZeroS (Auden Zero-Instruction-tuned Speech-LLM) を導入する。 AZeroSはセマンティックベンチマークとパラ言語ベンチマークの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-31T04:05:04Z)
• ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
  本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。 ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
  論文  参考訳（メタデータ） (2025-07-27T00:59:01Z)
• TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [46.60911294356232]
  本稿では,テキスト適応型音声トークン化と埋め込み(TASTE)を導入し,トークン化段階における音声トークンと対応するテキストの書き起こしを一致させる。 我々は広範囲な実験を行い、TASTEはトークン列の長さを劇的に減らしながら重要なパラ言語情報を保持することができることを示す。 実験の結果,TASTEを用いたSLMはSALMONやStoryClozeに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-09T17:14:33Z)
• Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。 本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。 そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:34:24Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Prompting Large Language Models with Audio for General-Purpose Speech Summarization [13.415189715216354]
  大規模言語モデル(LLM)の処理と推論機能を活用した音声要約フレームワークを提案する。 本稿では,LLM が解釈可能なトークン表現に変換する音声エンコーダと命令調整 LLM を組み合わせたエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-10T02:04:28Z)
• Instruction-Following Speech Recognition [21.591086644665197]
  本稿では,命令追従音声認識を導入し,多様な自由形式のテキスト命令の理解と実行を行うリステン・アテンド・スペルモデルを訓練する。 注目すべきは、我々のモデルは、Librispeechでゼロから訓練され、大規模言語モデルや事前訓練された音声モジュールを必要とせずに、簡単な命令を解釈し、実行します。
  論文  参考訳（メタデータ） (2023-09-18T14:59:10Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。