論文の概要: Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs

• arxiv url: http://arxiv.org/abs/2609.17981v1
• Date: Wed, 16 Sep 2026 01:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.586683
• Title: Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs
• Title（参考訳）: 適応器によるエンコーダ覚醒:音声-LLMの効果的なドメイン適応微調整
• Abstract要約: 音声大言語モデル(Speech-LLMs)は、一般的なドメイン音声に対して強力な自動音声認識(ASR)性能を示す。 子供や方言のようなドメインシフトした言語に適応することは、限られたターゲットドメインデータの下では困難である。 本稿では,Speech-LLMに基づくASRのための,シンプルで効果的なドメイン適応型微調整法を提案する。
• 参考スコア（独自算出の注目度）: 19.07983030478734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech Large Language Models (Speech-LLMs), typically built from a pre-trained speech encoder, a modality projector, and an LLM fine-tuned with Low-Rank Adapters (LoRA), have shown strong Automatic Speech Recognition (ASR) performance on general-domain speech. However, adapting them to domain-shifted speech, such as child or dialectal speech, remains challenging under limited target-domain data. Given the dominant role of the LLM in Speech-LLMs, with cross-entropy loss applied only at the LLM output, the speech encoder may receive insufficient adaptation to new acoustic conditions. In this paper, we propose Encoder Awakening via Adapters (EAVA), a simple yet effective domain-adaptive fine-tuning method for Speech-LLM-based ASR. First, lightweight adapters are inserted into each encoder layer and trained exclusively, enabling target-domain acoustic knowledge to be incorporated into the encoder while preserving its pre-trained knowledge. Second, the full model is jointly fine-tuned on the target domain with LoRA applied to the LLM. Experiments on three domain-shifted ASR datasets, covering child and dialectal speech, show that EAVA consistently outperforms vanilla fine-tuning and other baselines, achieving new state-of-the-art performance.
• Abstract（参考訳）: 音声大言語モデル(Speech-LLMs)は、通常、訓練済みの音声エンコーダ、モダリティプロジェクタ、ローランド適応器(LoRA)で微調整されたLPMから構築される。 しかし、子供や方言のようなドメインシフト音声に適応させることは、限られた対象領域データの下では困難である。 LLM出力にのみクロスエントロピー損失が適用される音声-LLMにおけるLLMの優位性を考えると、音声エンコーダは新たな音響条件への適応が不十分である。 本稿では,音声LLMに基づくASRのための,シンプルで効果的なドメイン適応型微調整法である,Adapters (EAVA) を用いたEncoder Awakeningを提案する。 第一に、軽量なアダプタを各エンコーダ層に挿入して専用に訓練し、訓練済みの知識を維持しながら、目標領域の音響知識をエンコーダに組み込むことができる。 第2に、LLMにLoRAを適用することで、全モデルがターゲットドメイン上で協調的に微調整される。 3つのドメインシフトされたASRデータセットの実験は、子供と方言のスピーチをカバーし、EAVAがバニラファインチューニングやその他のベースラインを一貫して上回り、新しい最先端のパフォーマンスを実現していることを示している。

関連論文リスト

• AuRA: Internalizing Audio Understanding into LLMs as LoRA [33.69997921138135]
  音声符号化能力を大言語モデル(LLM)に蒸留するAuRAを提案する。 具体的には、AuRAは、ASRエンコーダ(教師)とLoRA適応LLM(学生)に、軽量なオーディオ埋め込み層を介して、同じ音声入力を送信する。 ケースドブリッジ法やシリアルブリッジ法と比較して、AuRAはより厳密な音声-言語共同モデリングと効率的なエンドツーエンド推論を可能にしている。
  論文  参考訳（メタデータ） (2026-06-09T16:05:23Z)
• Closing the Speech-Text Gap with Limited Audio for Effective Domain Adaptation in LLM-Based ASR [13.366872438646654]
  最近の音声テキスト適応アーキテクチャは、プロジェクションモジュールを介して音声エンコーダを大きな言語モデルに接続する。 これは、言語モデルが音声プロジェクタが生成する雑音表現に曝されないため、モダリティギャップをもたらす。 このミスマッチを最小限に抑えることができるか検討する。
  論文  参考訳（メタデータ） (2026-04-07T21:41:16Z)
• DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding [58.29124051111574]
  一般音声理解のための実用的な拡散型LALMであるDIFFA-2を紹介する。 DIFFA-2は音声エンコーダをアップグレードし、デュアルセマンティックとアコースティックのアダプタを採用し、4段階のカリキュラムで訓練されている。 MMSU、MMAU、MMARの実験では、DIFFA-2はDIFFAよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-01-30T16:44:23Z)
• Text-only adaptation in LLM-based ASR through text denoising [14.200885240373509]
  テキストのみのデータを用いて、音声認識システムを新しいドメインに適応させることは、大きな課題だが未解明の課題である。 本稿では,テキスト記述タスクとして扱うことで,音声投影タスクをエミュレートする新しいテキストのみ適応手法を提案する。 私たちのソリューションは軽量で、アーキテクチャの変更やパラメータの追加は必要ありません。
  論文  参考訳（メタデータ） (2026-01-28T10:18:23Z)
• Fun-ASR Technical Report [89.84148151617022]
  本稿では,大規模データ,大規模モデル容量,LLM統合,強化学習を組み合わせた大規模ALSシステムFun-ASRを提案する。 Fun-ASRは特に実用的なデプロイメントに最適化されており、ストリーミング機能、ノイズの堅牢性、コードスイッチング、ホットワードのカスタマイズ、その他の現実世界のアプリケーション要件を満たすことができる。 運用指向の最適化により、Fun-ASRは実際のアプリケーションデータセット上での最先端のパフォーマンスを実現し、実用的設定におけるその有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2025-09-15T23:19:36Z)
• Step-Audio-AQAA: a Fully End-to-End Expressive Large Audio Language Model [85.72664004969182]
  本稿では,AQAA(Audio-Audio Answer)タスク用に設計された完全エンドツーエンドのLALMであるStep-Audio-AQAAを紹介する。 このモデルは、言語的特徴抽出と意味的特徴抽出のためのデュアルコードブックオーディオトークンーザを統合している。 我々のポストトレーニングアプローチでは、意味的コヒーレンスを高めるために、テキストとオーディオのインターリーブドトークンアウトプットを用いる。
  論文  参考訳（メタデータ） (2025-06-10T16:37:39Z)
• Low-Resource Domain Adaptation for Speech LLMs via Text-Only Fine-Tuning [9.950088874229353]
  音声を付加することなく、未ペアのターゲットドメインテキストを用いて、音声LLMのテキストのみを微調整する手法を提案する。 LibriSpeech,SlideSpeech,Messicalデータセットの実験により,本手法が競合認識性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-06-06T01:34:29Z)
• Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs [33.12165044958361]
  大規模言語モデル(LLM)の最近の進歩は、音声認識において、AVSR(Audio-Visual Speech Recognition)を含む強力な性能を示している。 そこで我々は,AVSRのための最初のMateryoshkaベースのマルチモーダルLLMであるLlama-MTSKを提案する。 Matryoshka Representation Learningにインスパイアされた私たちのモデルは、単一のアーキテクチャで複数の粒度の表現をエンコードします。 効率的な微調整を行うため,グローバルおよびスケール固有のモジュールを用いたLoRAベースの戦略を3つ導入する。
  論文  参考訳（メタデータ） (2025-03-09T00:02:10Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。