論文の概要: AuRA: Internalizing Audio Understanding into LLMs as LoRA

• arxiv url: http://arxiv.org/abs/2606.11033v1
• Date: Tue, 09 Jun 2026 16:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.600336
• Title: AuRA: Internalizing Audio Understanding into LLMs as LoRA
• Title（参考訳）: AuRA:LLMをLoRAとして内部的に理解する
• Authors: Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He,
• Abstract要約: 音声符号化能力を大言語モデル(LLM)に蒸留するAuRAを提案する。 具体的には、AuRAは、ASRエンコーダ(教師)とLoRA適応LLM(学生)に、軽量なオーディオ埋め込み層を介して、同じ音声入力を送信する。 ケースドブリッジ法やシリアルブリッジ法と比較して、AuRAはより厳密な音声-言語共同モデリングと効率的なエンドツーエンド推論を可能にしている。
• 参考スコア（独自算出の注目度）: 33.69997921138135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent efforts to extend large language models (LLMs) to speech inputs typically rely on cascaded ASR-LLM pipelines, end-to-end speech-language models, or bridge/distillation-based adaptation. While these routes respectively reuse strong pretrained components, enable native speech-language interaction, or offer lightweight adaptation, they often suffer from transcript-interface latency, costly multimodal training, or sequential speech-language coupling. To address these limitations, we present AuRA, a method that distills audio encoding capability into the LLM. Specifically, AuRA feeds the same speech input to an ASR encoder (as a teacher) and a LoRA-adapted LLM (as a student) through a lightweight audio embedding layer, and uses layer-wise distillation to align the student's hidden states with corresponding teacher representations, thereby internalizing speech representations into lightweight LLM-side adaptations. Compared with cascaded and serial bridge methods, AuRA enables tighter speech-language joint modeling and efficient parallel end-to-end inference, while also reusing pretrained speech and language models rather than requiring large-scale multimodal training. On multiple speech-language benchmarks, AuRA consistently outperforms cascaded systems, speech-to-LLM adaptation baselines, and large-scale speech-language and multimodal models in both effectiveness and efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)を音声入力に拡張する最近の取り組みは、通常、カスケードされたASR-LLMパイプライン、エンドツーエンドの音声言語モデル、ブリッジ/蒸留に基づく適応に依存している。 これらのルートはそれぞれ、強い事前訓練されたコンポーネントを再利用し、ネイティブな言語間相互作用を可能にしたり、軽量な適応を提供するが、スクリプティングとインタフェースのレイテンシ、コストのかかるマルチモーダルトレーニング、シーケンシャルな音声言語結合に悩まされることが多い。 このような制約に対処するため,LLMに音声符号化機能を蒸留するAuRAを提案する。 具体的には、ARAは、ASRエンコーダ(教師)とLoRA適応LLM(学生)に、軽量なオーディオ埋め込み層を介して、同じ音声入力を供給し、生徒の隠れた状態を対応する教師表現と整合させる層ワイズ蒸留を用いて、音声表現を軽量LLM側適応に内在化する。 ケースドブリッジ法やシリアルブリッジ法と比較して、AuRAは、大規模マルチモーダルトレーニングを必要とせず、事前訓練された言語モデルや言語モデルを再利用しつつ、より厳密な音声言語共同モデリングと効率的なエンドツーエンド推論を可能にしている。 複数の音声言語ベンチマークにおいて、AuRAはカスケードシステム、音声からLLMへの適応ベースライン、大規模音声言語モデルとマルチモーダルモデルを効率と効率の両方で一貫して上回っている。

関連論文リスト

• FastSLM: Hierarchical Frame Q-Former for Effective Speech Modality Adaptation [3.8125534288516683]
  FastSLMは、長文音声に対する効果的な理解と推論のために設計された軽量で効率的な音声言語モデル(SLM)である。 本稿では,多岐にわたる音声関連タスクの一般化を促進する新しい3段階学習戦略を提案する。 実験結果から,FastSLMは既存の最先端モデルと比較して競争性能が向上することが示された。
  論文  参考訳（メタデータ） (2026-01-08T07:46:03Z)
• Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning [13.113505050543298]
  本稿では,音声入力を処理可能な大規模言語モデルを提案する。 人間の嗜好に基づく強化学習でさらに調整することで、従来の微調整よりも混乱した音声に適応できることが示される。
  論文  参考訳（メタデータ） (2024-12-25T00:16:22Z)
• MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
  話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。 本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T09:01:08Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。 提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• Prompting Large Language Models with Speech Recognition Abilities [31.77576008965215]
  我々は,音声認識を行うための小型オーディオエンコーダを直接取り付けることで,大規模言語モデルの能力を拡張した。 MultilingualSpeechの実験では、コンバータエンコーダをオープンソースのLLaMA-7Bに組み込むことで、モノリンガルベースラインを18%上回る結果となった。
  論文  参考訳（メタデータ） (2023-07-21T08:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。