論文の概要: Training-Free Speech-Centric Omni Understanding with Frozen VLMs

• arxiv url: http://arxiv.org/abs/2609.04242v1
• Date: Fri, 07 Aug 2026 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.470096
• Title: Training-Free Speech-Centric Omni Understanding with Frozen VLMs
• Title（参考訳）: 凍結 VLM を用いた訓練不要音声中心オムニ理解
• Abstract要約: Training-Free Omni (TFO) は、凍結したVLMを音声中心のオムニモデルに変換するプラグイン・アンド・プレイフレームワークである。 TFOは、音声の視覚的理解に競争力があり、5つのモデル設定すべてで平均的な音声のみのパフォーマンスを改善し、多言語音声の獲得を実現している。
• 参考スコア（独自算出の注目度）: 54.39332229535745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual understanding remains challenging because models must jointly interpret spoken content, visual events, and their temporal relationships. Existing omni models typically introduce dedicated audio encoders and rely on expensive audio-video-text training, tightly coupling omni capability to specific VLM backbones and potentially weakening their existing visual and reasoning abilities. This raises three questions: whether native omni training is necessary for every new VLM, whether speech-centric omni capability can be added while preserving the original backbone, and where richer acoustic representations remain essential. We introduce Training-Free Omni (TFO), a plug-and-play framework that converts a frozen VLM into a speech-centric omni model without architectural modification, or multimodal re-alignment. TFO uses Whisper to extract confidence-filtered, timestamped transcripts and routes them through the VLM's existing language interface, while leaving its visual pathway unchanged. Across matched comparisons with native omni models on 56 benchmarks and 21 languages, TFO is competitive on audio-visual understanding, improves average audio-only performance across all five model settings, and achieves substantial multilingual speech gains. Freezing the VLM also generally preserves stronger image/video understanding, visual grounding, coding, mathematical reasoning, and medical question answering than the corresponding native omni checkpoints. These results show that strong speech-centric omni understanding can often be obtained through modular audio-to-language routing rather than costly backbone-specific training.
• Abstract（参考訳）: モデルは、音声コンテンツ、視覚イベント、およびそれらの時間的関係を共同で解釈する必要があるため、音声・視覚的理解は依然として困難である。 既存のオムニモデルは、通常、専用のオーディオエンコーダを導入し、高価なオーディオ・ビデオ・テキスト・トレーニングに依存し、特定のVLMバックボーンにオムニ機能を密結合させ、既存の視覚的および推論能力を弱める可能性がある。 これは、新しいVLM毎にネイティブオムニトレーニングが必要であるか、元のバックボーンを保存しながら音声中心オムニ能力を追加することができるか、よりリッチな音響表現が必須か、という3つの疑問を提起する。 我々は,凍結したVLMをアーキテクチャ変更やマルチモーダルなリアライメントなしに,音声中心のオムニモデルに変換するプラグイン・アンド・プレイフレームワークであるTFO(Training-Free Omni)を紹介した。 TFOはWhisperを使用して、信頼度の高いタイムスタンプ付きテキストを抽出し、VLMの既存の言語インターフェースを介してルートする。 56のベンチマークと21の言語でネイティブのOmniモデルと比較すると、TFOは音声-視覚的理解に競争力があり、5つのモデル設定すべてで平均的なオーディオのみのパフォーマンスを改善し、多言語音声の獲得を実現している。 VLMの凍結はまた、画像/映像の理解、視覚的基盤、コーディング、数学的推論、および医学的質問応答を、対応するネイティブのオムニチェックポイントよりも強く保存する。 これらの結果から,高コストなバックボーン特化学習ではなく,モジュール型音声から言語へのルーティングによって,強い音声中心のオムニ理解が得られることが示唆された。

関連論文リスト

• OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue [44.893590044283705]
  我々はOmniVChatを,ユーザとオムニモデルとのネイティブ音声・視覚対話のタスクとして定義する。 OmniVChat-Studioはシングルターンおよびマルチターン音声・視覚対話を合成するためのマルチエージェントデータエンジンである。 また,OmniVChat-RLは,OmniVChatにおける応答の正しさ,効率,スタイルを共同で目標とする強化学習報酬設計である。
  論文  参考訳（メタデータ） (2026-09-18T08:15:34Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [95.27191872116306]
  nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。 雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。 nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
  論文  参考訳（メタデータ） (2025-01-08T15:18:09Z)
• EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions [152.41217651729738]
  EMOVA (EMotionally Omni-present Voice Assistant) を提案する。 セマンティック・アコースティック・ディコンタングルド・音声トークンーザでは、オムニモーダルアライメントが視覚言語や音声能力をさらに向上させることに驚く。 EMOVAは、視覚言語と音声のベンチマークの両方で最先端のパフォーマンスを初めて達成した。
  論文  参考訳（メタデータ） (2024-09-26T16:44:02Z)
• Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM [19.36630667212398]
  本稿では,事前学習された大規模言語モデル(LLM)を適応させて,音声質問応答(QA)と音声継続を行う新しいアプローチであるSpectronを提案する。 我々のアプローチの鍵は、音声認識、テキスト継続、音声合成を共同で監督する訓練目標である。 提案手法は話者保存とセマンティック・コヒーレンスにおいて既存の言語モデルを上回る。
  論文  参考訳（メタデータ） (2023-05-24T15:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。