Fugu-MT 論文翻訳(概要): SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors

論文の概要: SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors

arxiv url: http://arxiv.org/abs/2606.00460v1
Date: Sat, 30 May 2026 00:54:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.472171
Title: SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors
Title（参考訳）: SALSA:学習されたステアリング活性化ベクトルによるLLM適応認識
Abstract要約: そこで我々は,レイヤワイズステアリングベクトルを学習する軽量適応手法であるSALSAを提案する。子どものスピーチ、多言語スピーチ、マンダリン英語のコードスイッチングベンチマーク全体において、SALSAはゼロショット推論よりもパフォーマンスを大幅に改善する。
参考スコア（独自算出の注目度）: 28.649618110315277
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speech-aware large language models often generalize poorly to out-of-domain settings. We propose SALSA (Speech-Aware LLM Adaptation via Learned Steering Activations), a lightweight adaptation method that learns layer-wise steering vectors. Unlike commonly used steering approaches that rely on contrastive activation differences, SALSA directly optimizes steering vectors using a supervised objective. Across children's speech, multilingual speech, and Mandarin-English code-switching benchmarks, SALSA substantially improves performance over zero-shot inference and speech in-context learning baselines, achieving up to 46.8% relative improvements over zero-shot. Analysis further demonstrates that steering the encoder, particularly the later layers, is more effective than steering the LLM backbone. These findings suggest that steering improves downstream ASR performance by adapting higher-level acoustic and phonetic representations to better align with the pretrained language model representation space, rather than by modifying the decoder itself.
Abstract（参考訳）: 音声認識対応の大規模言語モデルは、しばしばドメイン外の設定に貧弱に一般化する。本研究では,SALSA(Speech-Aware LLM Adaptation via Learned Steering Activation)を提案する。対照的なアクティベーション差に依存する一般的なステアリングアプローチとは異なり、SALSAは教師付き目的を用いて直接ステアリングベクトルを最適化する。子どものスピーチ、多言語スピーチ、マンダリン英語のコードスイッチングベンチマーク全体において、SALSAはゼロショット推論とテキスト内学習ベースラインよりもパフォーマンスを大幅に改善し、ゼロショットよりも46.8%の相対的な改善を実現している。分析により、エンコーダ、特に後の層は、LCMバックボーンをステアリングするよりも効果的であることが示された。これらの結果から, ステアリングは, デコーダ自体を変更するのではなく, 事前訓練された言語モデル表現空間との整合性を高めるため, 高階音響および音声表現を適応することにより, 下流ASRの性能を向上させることが示唆された。

関連論文リスト

AuRA: Internalizing Audio Understanding into LLMs as LoRA [33.69997921138135]
音声符号化能力を大言語モデル(LLM)に蒸留するAuRAを提案する。具体的には、AuRAは、ASRエンコーダ(教師)とLoRA適応LLM(学生)に、軽量なオーディオ埋め込み層を介して、同じ音声入力を送信する。ケースドブリッジ法やシリアルブリッジ法と比較して、AuRAはより厳密な音声-言語共同モデリングと効率的なエンドツーエンド推論を可能にしている。
論文参考訳（メタデータ） (2026-06-09T16:05:23Z)
RoboAlign: Learning Test-Time Reasoning for Language-Action Alignment in Vision-Language-Action Models [58.83401587988675]
RoboAlignは視覚言語アクションモデル(VLA)を訓練し、マルチモーダル理解を低レベルのアクションに変換する。我々のキーとなる考え方は、ゼロショット自然言語推論を用いてアクショントークンをサンプリングし、この推論を強化学習(RL)を用いて洗練し、アクション精度を向上させることである。 RoboAlignは、それぞれLIBERO、CALVIN、現実世界の環境におけるSFTベースラインよりも17.5%、18.9%、106.6%の性能向上を実現している。
論文参考訳（メタデータ） (2026-03-22T17:57:55Z)
CLaS-Bench: A Cross-Lingual Alignment and Steering Benchmark [21.574271160875046]
CLaS-Benchは,32言語にわたる大規模言語モデル(LLM)における言語強制行動を評価するベンチマークである。単純な残差ベースのDiffMeanメソッドは、他のすべてのメソッドよりも一貫して優れています。
論文参考訳（メタデータ） (2026-01-13T08:42:03Z)
Activation Steering for Masked Diffusion Language Models [1.0980666029958932]
マスケ拡散言語モデルは反復的復調過程を通じてテキストを生成する。本稿では,MDLMのためのアクティベーションステアリングフレームワークを提案する。 LLaDA-8B-Instructの実験では、高レベル属性の信頼性変調が示されている。
論文参考訳（メタデータ） (2025-12-30T11:10:52Z)
GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文参考訳（メタデータ） (2025-07-24T02:34:13Z)
Beyond Syntax: Action Semantics Learning for App Agents [60.56331102288794]
アクションセマンティックス学習(ASL、Action Semantics Learning)は、学習目的が真理行動の意味を捉える学習フレームワークである。 ASLは既存のメソッドよりもApp Agentの精度と一般化を大幅に改善する。
論文参考訳（メタデータ） (2025-06-21T12:08:19Z)
Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning [13.113505050543298]
本稿では,音声入力を処理可能な大規模言語モデルを提案する。人間の嗜好に基づく強化学習でさらに調整することで、従来の微調整よりも混乱した音声に適応できることが示される。
論文参考訳（メタデータ） (2024-12-25T00:16:22Z)
How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario [72.02391485962127]
音声認識(ASR)における音声自己監視学習(SSL)モデルの性能向上低リソース言語 ASR では、事前訓練された言語と低リソース言語のドメインミスマッチ問題に遭遇する。これらの問題に対処するためのアダプタに基づく従来型の効率的な微調整手法を拡張した。
論文参考訳（メタデータ） (2024-11-27T10:51:00Z)
Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。本稿では,Llama-AVSRを提案する。我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
論文参考訳（メタデータ） (2024-09-18T21:17:27Z)
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation [15.520180125182756]
近年,大規模言語モデル(LLM)への音声情報統合の進歩により,音声認識(ASR)の精度が大幅に向上した。既存の手法はアクセントのような様々な音響条件下での音声エンコーダの能力に制約されることが多い。 LA-RAGは、LLMベースのASRのための新しいRAGパラダイムである。
論文参考訳（メタデータ） (2024-09-13T07:28:47Z)
Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
論文参考訳（メタデータ） (2024-01-05T17:58:10Z)
Harnessing the Zero-Shot Power of Instruction-Tuned Large Language Model in End-to-End Speech Recognition [23.172469312225694]
自動音声認識(ASR)におけるテキスト生成プロセスの指導に,命令調整付き大言語モデル(LLM)を用いることを提案する。提案手法はCTCとアテンションアーキテクチャを併用し,LLMはデコーダのフロントエンド特徴抽出器として機能する。実験結果から,LLM誘導モデルによる単語誤り率の相対的な増加率は,主要なベンチマークで約13%であった。
論文参考訳（メタデータ） (2023-09-19T11:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。