論文の概要: ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence

• arxiv url: http://arxiv.org/abs/2610.23539v1
• Date: Fri, 16 Oct 2026 14:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.955276
• Title: ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence
• Title（参考訳）: ConvexLLM:Convex-Hull音声インタフェースの汎用オーディオインテリジェンスへの拡張
• Abstract要約: 音声および音声言語モデルは、主にテキストデータに基づいて事前訓練されたデコーダに連続した音響表現を接続する。 本稿では,C-Gateインタフェースを凍結テキスト埋め込みの連続凸結合として表現した汎用音声・音声言語モデルであるConvexLLMを提案する。
• 参考スコア（独自算出の注目度）: 34.94467140023976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech and audio language models connect continuous acoustic representations to decoders pretrained primarily on text data. Most such models use MLP or Q-Former interfaces to map acoustic features into the decoder's input space, requiring the decoder to learn how to interpret the resulting representations. We investigate whether grounding these representations in the decoder's existing text embeddings can help it use acoustic information while better preserving its pretrained text capabilities. We present ConvexLLM, a general-purpose speech and audio language model whose C-Gate interface represents audio as continuous convex combinations of frozen text embeddings. ConvexLLM achieves an eleven-task VoiceBench aggregate of 75.36, the highest among the open-weight models we compare, and an MMAU Test-mini accuracy of 62.50%. Its largest margins over the baselines are on spoken knowledge and reasoning tasks, while the strongest baselines are more accurate on audio understanding and transcription. In a comparison with a 2B-parameter decoder, C-Gate achieves higher aggregate spoken-language performance than MLP and Q-Former interfaces, with text-task performance close to MLP and task-dependent tradeoffs in transcription and audio understanding. These results support convex combinations of text embeddings as a viable interface for general-purpose speech and audio language models.
• Abstract（参考訳）: 音声および音声言語モデルは、主にテキストデータに基づいて事前訓練されたデコーダに連続した音響表現を接続する。 ほとんどのモデルでは、音響的特徴をデコーダの入力空間にマッピングするためにMLPまたはQ-Formerインタフェースを使用し、デコーダは結果の表現の解釈方法を学ぶ必要がある。 我々は,これらの表現をデコーダの既存のテキスト埋め込みに基礎付けることで,事前学習したテキストの保存性を向上しつつ,音響情報を活用することができるかどうかを検討する。 本稿では,C-Gateインタフェースを凍結テキスト埋め込みの連続凸結合として表現した汎用音声・音声言語モデルであるConvexLLMを提案する。 ConvexLLMは75.36の11タスクのVoiceBenchアグリゲーションを達成し、我々が比較したオープンウェイトモデルの中では最高であり、MMAU Test-miniの精度は62.50%である。 ベースラインに対する最大のマージンは、音声知識と推論タスクであり、最強のベースラインは、音声の理解と書き起こしにおいてより正確である。 2Bパラメータデコーダと比較すると、C-Gateは、MLPやQ-Formerインターフェースよりも、テキストタスクのパフォーマンスがMLPに近い、文字と音声の理解におけるタスク依存のトレードオフを達成している。 これらの結果は、汎用音声および音声言語モデルのための実行可能なインタフェースとして、テキスト埋め込みの凸結合をサポートする。

関連論文リスト

• EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement [54.95940885045993]
  EntangleCodecは、量子化の前にキャプションに沿った意味音響表現を学習する独立したオーディオトークンである。 コンパクトなトークンストリーム内に言語内容、話者識別、感情、韻律、音響シーンをキャプチャする。 特殊なコーデックと競合する再構成品質を実現し、統合されたフレームワークでTSとTTAの生成をサポートする。
  論文  参考訳（メタデータ） (2026-06-01T18:05:18Z)
• Step-Audio-AQAA: a Fully End-to-End Expressive Large Audio Language Model [85.72664004969182]
  本稿では,AQAA(Audio-Audio Answer)タスク用に設計された完全エンドツーエンドのLALMであるStep-Audio-AQAAを紹介する。 このモデルは、言語的特徴抽出と意味的特徴抽出のためのデュアルコードブックオーディオトークンーザを統合している。 我々のポストトレーニングアプローチでは、意味的コヒーレンスを高めるために、テキストとオーディオのインターリーブドトークンアウトプットを用いる。
  論文  参考訳（メタデータ） (2025-06-10T16:37:39Z)
• FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion [14.43138123445589]
  高品質で大規模な音声キャプションは、音声理解の進歩に不可欠である。 現在の自動化手法は、細かな細部や文脈の正確さに欠けるキャプションを生成することが多い。 本稿では,複雑な音声環境のよりきめ細やかで正確な理解方法を提案する。
  論文  参考訳（メタデータ） (2025-06-01T18:29:17Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning [25.06635361326706]
  インタラクティブなモダリティ表現を学習するための,CLIP-AACと呼ばれる新しいAACシステムを提案する。 提案するCLIP-AACでは,事前学習エンコーダにオーディオヘッドとテキストヘッドを導入し,音声テキスト情報を抽出する。 また、音声信号と2つの字幕の対応を学習することで、ドメイン差を狭めるためにコントラスト学習を適用する。
  論文  参考訳（メタデータ） (2022-03-29T13:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。