論文の概要: ALAS: Measuring Latent Speech-Text Alignment For Spoken Language Understanding In Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2505.19937v1
• Date: Mon, 26 May 2025 13:02:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.441997
• Title: ALAS: Measuring Latent Speech-Text Alignment For Spoken Language Understanding In Multimodal LLMs
• Title（参考訳）: ALAS:マルチモーダルLLMにおける音声理解のための潜在音声テキストアライメントの測定
• Authors: Pooneh Mousavi, Yingzhi Wang, Mirco Ravanelli, Cem Subakan,
• Abstract要約: 大規模言語モデル(LLM)は、音声言語理解(SLU)において広く使われている。 これらのモデルの主な考慮事項は、テキストとオーディオのモード間の相互アライメントである。 我々は新しい計量 ALAS (Automatic Latent Alignment Score) を提案する。
• 参考スコア（独自算出の注目度）: 11.696352577108211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are widely used in Spoken Language Understanding (SLU). Recent SLU models process audio directly by adapting speech input into LLMs for better multimodal learning. A key consideration for these models is the cross-modal alignment between text and audio modalities, which is a telltale sign as to whether or not LLM is able to associate semantic meaning to audio segments. While various methods exist for fusing these modalities, there is no standard metric to evaluate alignment quality in LLMs. In this work, we propose a new metric, ALAS (Automatic Latent Alignment Score). Our study examines the correlation between audio and text representations across transformer layers, for two different tasks (Spoken Question Answering and Emotion Recognition). We showcase that our metric behaves as expected across different layers and different tasks.
• Abstract（参考訳）: 大型言語モデル (LLM) は、Spoken Language Understanding (SLU) で広く使われている。 近年のSLUモデルは、音声入力をLLMに適応させて音声を直接処理し、マルチモーダル学習を改善する。 これらのモデルの鍵となる考慮事項は、LLMが意味論的意味を音声セグメントに関連付けることができるかどうかを示す意味記号であるテキストとオーディオモダリティの相互アライメントである。 これらのモダリティを融合させる様々な方法が存在するが、LCMのアライメント品質を評価するための標準指標は存在しない。 本稿では,ALAS(Automatic Latent Alignment Score)を提案する。 本研究はトランスフォーマー層における音声とテキストの表現の相関について,2つの異なる課題(音声質問応答と感情認識)について検討した。 私たちのメトリクスは、異なるレイヤと異なるタスクにまたがって期待通りに振る舞うことを示しています。

関連論文リスト

• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving [36.246791887458194]
  大規模言語モデル(LLM)はタスク間で顕著な一般化を示している。 LLMは通常、教師付き微調整を使用して、テキストベースのLLMと音声を一致させる。 本稿では,音声テキストをインターリーブしたマルチタスクの「行動模倣」手法を提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:09:13Z)
• Adversarial Deep Metric Learning for Cross-Modal Audio-Text Alignment in Open-Vocabulary Keyword Spotting [8.401528952094413]
  テキスト入力に基づくオープン語彙キーワードスポッティング(KWS)では、音響とテキストの埋め込みは通常、音素または発話レベルで比較される。 ディープ・メトリック・ラーニング(DML)を用いて音響およびテキストエンコーダを最適化し,共有埋め込み空間におけるマルチモーダル埋め込みの直接比較を可能にする。 異質なモダリティ表現における領域ギャップを低減するためのモダリティ適応学習(MAL)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T14:49:46Z)
• Adaptive Inner Speech-Text Alignment for LLM-based Speech Translation [20.415410280412697]
  本研究では,大言語モデル (LLM) 内の選択された層における音声とテキストの表現を明示的に整合させることにより,モダリティギャップを埋める適応的内部音声テキストアライメント (AI-STA) 手法を提案する。 音声翻訳タスクにおける実験結果から、AI-STAは、従来の最先端手法よりも大きな音声テキストモデル(LSM)の翻訳性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-03-13T09:54:35Z)
• LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM [35.443850239910866]
  本稿では、低レイテンシで高品質な音声を生成する軽量で自己回帰型ストリーミングTSシステムを提案する。 提案手法は,音声対応LLMに比べて単語誤り率を著しく低くし,レイテンシとUTMOSスコアに匹敵する操作を行う。
  論文  参考訳（メタデータ） (2025-03-06T18:59:38Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。 提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• Impact of Decoding Methods on Human Alignment of Conversational LLMs [11.673312535250263]
  我々は, 物質, スタイル, 心理指標の配向に関する新しい尺度を提示する。 タスク指向のデータセットとオープンエンドのデータセットは、アライメントの点で異なる結果が得られます。
  論文  参考訳（メタデータ） (2024-07-28T16:31:09Z)
• Pronunciation Assessment with Multi-modal Large Language Models [10.35401596425946]
  大規模言語モデル(LLM)に基づくスコアリングシステムを提案する。 音声エンコーダは、まず学習者の音声を文脈的特徴にマッピングする。 アダプタ層は、これらの機能を潜在空間に埋め込まれたテキストに合わせるように変換する。
  論文  参考訳（メタデータ） (2024-07-12T12:16:14Z)
• Prompting Large Language Models with Audio for General-Purpose Speech Summarization [13.415189715216354]
  大規模言語モデル(LLM)の処理と推論機能を活用した音声要約フレームワークを提案する。 本稿では,LLM が解釈可能なトークン表現に変換する音声エンコーダと命令調整 LLM を組み合わせたエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-10T02:04:28Z)
• What do MLLMs hear? Examining reasoning with text and sound components in Multimodal Large Language Models [6.313516199029267]
  音声キャプション/分類実験を通じて、音声MLLMは、音声キャプションを生成する際に、LLMのテキストベースの推論を完全に活用できないことを示す。 また,LLMからオーディオエンコーダへの推論経路を分離するなど,聴覚情報とテキスト情報を別々に表現するMLLMが原因である可能性についても検討する。
  論文  参考訳（メタデータ） (2024-06-07T03:55:00Z)
• Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs [63.29737699997859]
  大規模言語モデル(LLM)は、マルチモーダルな微調整をせずに、マルチモーダルなタスクにおいて印象的なパフォーマンスを示した。 本研究では,画像,ビデオ,音声,テキストの入力に凍結LDMを公開し,内部表現を解析する。
  論文  参考訳（メタデータ） (2024-05-26T21:31:59Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs [27.122094554340194]
  我々は、エンドツーエンドの汎用音声処理と推論能力を備えた命令調整型Llama-2モデルを拡張する。 結果、AudioChatLlamaと呼ばれるエンドツーエンドモデルは、音声プロンプトをテキストの代替として利用し、会話を維持することができる。
  論文  参考訳（メタデータ） (2023-11-12T06:56:14Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。