論文の概要: Align, Integrate, and Fire: Efficient Token-Level Alignment for Zero-Shot SpeechLLMs

• arxiv url: http://arxiv.org/abs/2609.18516v1
• Date: Wed, 16 Sep 2026 11:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.776214
• Title: Align, Integrate, and Fire: Efficient Token-Level Alignment for Zero-Shot SpeechLLMs
• Title（参考訳）: アライメント, 積分, 火災: ゼロショット音声LLMのための効率的なToken-Levelアライメント
• Abstract要約: ゼロショット音声処理のためのフレームワークであるAligned Continuous Integrate-and-Fireを紹介する。 本手法は,連続した音響フレームを対象テキストの正確なトークン長に動的に圧縮する。 提案手法は,従来のパラメータ効率の基準値よりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 11.168086425477467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Language Models excel in natural language processing, efficiently extending their capabilities to spoken input remains a significant challenge. Existing methods for building SpeechLLMs often rely on computationally expensive full-model fine-tuning, or employ parameter-efficient projectors that suffer from inefficient token sequence lengths and costly full-model supervision. In this paper, we introduce Aligned Continuous Integrate-and-Fire, a highly efficient framework for zero-shot speech processing. Our method dynamically compresses continuous acoustic frames into the exact discrete token length of the target text utilizing explicit Dynamic Time Warping alignments. This allows our initial training stage to establish a robust acoustic-to-semantic bridge using lightweight distance metrics, entirely bypassing the computationally expensive LLM forward pass. For subsequent fine-tuning, we propose a memory-efficient knowledge distillation objective that targets a single LLM layer, performing competitively with full-model cross-entropy training at a fraction of the computational cost. Through extensive evaluations on Automatic Speech Recognition and Speech Translation, we demonstrate that our method achieves superior performance compared to prior parameter-efficient baselines.
• Abstract（参考訳）: 大きな言語モデルは自然言語処理に優れていますが、音声入力に効率よく機能を拡張することは大きな課題です。 既存のSpeechLLMの構築方法は、計算に費用がかかるフルモデルの微調整に依存したり、非効率なトークンシーケンスの長さと高価なフルモデルの監督に苦しむパラメータ効率の良いプロジェクタを使用する場合が多い。 本稿では,ゼロショット音声処理のための高効率なフレームワークであるAligned Continuous Integrate-and-Fireを紹介する。 提案手法は, 連続する音響フレームを動的に圧縮し, 明示的な動的時間ワープアライメントを用いて目標テキストの正確なトークン長を求める。 これにより、計算コストの高いLCM前方通過を完全に回避し、軽量距離の計測値を用いて、ロバストなアコースティック・ツー・セマンティックブリッジを構築することができる。 その後の微調整のために,単一のLCM層をターゲットにしたメモリ効率の高い知識蒸留目標を提案し,計算コストのごく一部でフルモデルクロスエントロピートレーニングと競合する性能を示した。 音声認識と音声翻訳の広範囲な評価を通じて,提案手法が従来のパラメータ効率の基準値よりも優れた性能を発揮することを示す。

関連論文リスト

• Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs [33.559566576032964]
  本稿では,LLMの入力埋め込み多様体内に存在する全ての音声表現を制約する言語間LLMブリッジであるConvex Gateを提案する。 C-Gateは、自動音声認識と感情認識にまたがって、強い関節演奏を実現する。 結果として,トークンの離散性よりも幾何が音声からLLMインターフェースの基本設計要素であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-08T11:38:40Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• TESU-LLM: Training Speech-LLMs Without Speech via Unified Encoder Alignment [15.899112804399193]
  textbfTESU-LLMは,テキストデータのみを用いた音声対応言語モデルの学習を可能にする新しいフレームワークである。 我々の重要な洞察は、意味論的に等価なテキストと音声入力を共有潜在空間にマッピングする統一エンコーダを活用することである。 TESU-LLMはテキストのみに訓練されているにもかかわらず、様々な音声関連ベンチマークで高い性能を達成している。
  論文  参考訳（メタデータ） (2025-06-01T09:27:55Z)
• Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space [74.12387631212609]
  本稿では、音声波形を連続的な潜在表現の列に符号化することで、音声言語モデリングの代替手法であるSLEDを紹介する。 SLEDは離散化エラーを回避し、既存の言語モデルに共通する複雑な階層アーキテクチャの必要性を排除する。 実験結果から,SLEDはゼロショット音声合成とストリーミング音声合成の両方において高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-19T14:38:59Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection [2.1155908599769764]
  パラメータ効率の良いオープン語彙オブジェクト検出のための軽量なモジュラーフレームワークUniProj-Detを提案する。 UniProj-Detは事前訓練されたバックボーンを凍結し、学習可能なモダリティトークンを備えたユニバーサル・プロジェクション・モジュールを導入し、最小限のコストで視覚-言語適応を可能にする。
  論文  参考訳（メタデータ） (2024-08-20T12:27:53Z)
• L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs [0.0]
  本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。 L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。 実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
  論文  参考訳（メタデータ） (2023-12-21T01:47:49Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition [9.732767611907068]
  本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。 本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
  論文  参考訳（メタデータ） (2021-01-17T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。