論文の概要: Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining

• arxiv url: http://arxiv.org/abs/2610.11159v1
• Date: Thu, 08 Oct 2026 03:19:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.760331
• Title: Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
• Title（参考訳）: テキスト対応型音声-LLM橋プレトレーニングのための局所プロトタイプ再構成
• Abstract要約: 音声-LLMシステムは、小さなトレーニング可能なブリッジを通して、凍結した音声エンコーダと凍結した大言語モデル(LLM)を接続することが多い。 テキスト側の大域的アライメントと局所語彙多様体の整合性という2つの相補的特性を通して伝達可能な橋について検討する。
• 参考スコア（独自算出の注目度）: 19.76167791140027
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Speech-to-LLM systems often connect a frozen speech encoder to a frozen large language model (LLM) through a small trainable bridge. The bridge is usually treated as plumbing, but it in fact defines the geometry of the speech-to-LLM interface, and the pretraining objective decides whether that interface provides a reusable initialization for downstream tasks. We study a transferable bridge through two complementary properties: global alignment with the text side, and local lexical manifold compatibility, where bridge embeddings remain close to the frozen LLM's input-embedding neighbourhoods. We make this property measurable with a fixed, head-free, timestamp-free diagnostic that applies to any objective, and show that next-word prediction (NWP) and sentence-level contrastive pretraining do not fully capture token-level lexical compatibility. We then introduce Local Prototype Reconstruction (LPR), a lightweight training-only regularizer that requires each aligned bridge token to be reconstructable from a small neighbourhood of frozen LLM token embeddings, with a hard single-prototype anchor as its limiting case. On multilingual ASR and speech translation, LPR improves transfer, with the largest gains on translation and low-resource adaptation. Crucially, our independent diagnostic correlates with downstream gains across objectives, suggesting that lexical manifold compatibility is predictive of reusability for speech-to-LLM bridges.
• Abstract（参考訳）: 音声-LLMシステムは、小さなトレーニング可能なブリッジを通して、凍結した音声エンコーダと凍結した大言語モデル(LLM)を接続することが多い。 ブリッジは通常配管として扱われるが、実際には音声-LLMインタフェースの幾何学を定義しており、事前学習の目的は、そのインターフェースが下流タスクに再利用可能な初期化を提供するかどうかを決定する。 本研究では,テキスト側とのグローバルアライメントと,LLMの入力埋め込み近傍にブリッジ埋め込みが残っている局所語彙多様体との整合性という2つの相補的特性を通して,転送可能なブリッジについて検討する。 この特性を、任意の目的に当てはまる固定された、ヘッドフリーでタイムスタンプのない診断で測定可能とし、次の単語予測(NWP)と文レベルのコントラクティブ事前学習がトークンレベルの語彙互換性を完全に把握していないことを示す。 次に, 軽量なトレーニング専用レギュレータであるLocal Prototype Reconstruction (LPR)を導入し, その制限ケースとしてハードシングルプロトタイプアンカーを装着し, 凍結したLLMトークンの小さな近傍から各アライメントブリッジトークンを再構築できるようにする。 多言語ASRと音声翻訳では、LPRはトランスファーを改善し、翻訳と低リソース適応で最大の利益を得ている。 重要な点として、我々の独立診断は目的物間の下流の利得と相関し、語彙多様体の整合性は音声-LLMブリッジの再利用可能性を予測することを示唆している。

関連論文リスト

• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs [33.559566576032964]
  本稿では,LLMの入力埋め込み多様体内に存在する全ての音声表現を制約する言語間LLMブリッジであるConvex Gateを提案する。 C-Gateは、自動音声認識と感情認識にまたがって、強い関節演奏を実現する。 結果として,トークンの離散性よりも幾何が音声からLLMインターフェースの基本設計要素であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-08T11:38:40Z)
• SOMA: Efficient Multi-turn LLM Serving via Small Language Model [64.50946708641608]
  大規模言語モデル(LLM)は、多ターン対話設定にますます多くデプロイされている。 本稿では,セッションの初期回転を利用して局所応答多様体を推定するフレームワークを提案する。 採掘された試料を局所的なLoRA微調整に蒸留し, シュロゲートは推論時にプロンプトを伴わずに動作させる。
  論文  参考訳（メタデータ） (2026-05-11T23:07:33Z)
• Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
  不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。 既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。 本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
  論文  参考訳（メタデータ） (2026-03-02T11:38:12Z)
• Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment [24.742581572364124]
  インコンテキスト学習(ICL)は、大規模言語モデルが勾配更新なしでいくつかのラベル付きサンプルに条件付きテストラベルを推測できるようになり、展開される。 言語間テキスト分類のためのICLの詳細な分析を行う。 我々は新しいプロンプト・コンストラクション・ストラテジ--クロスランガルなインコンテキスト・ソース・ターゲットアライメント(X-InSTA)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T07:24:36Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。