論文の概要: BAT-CLIP: Trimodal Alignment of Brain, Audio and Text

• arxiv url: http://arxiv.org/abs/2609.31180v1
• Date: Fri, 25 Sep 2026 12:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.375238
• Title: BAT-CLIP: Trimodal Alignment of Brain, Audio and Text
• Title（参考訳）: BAT-CLIP:脳・オーディオ・テキストのトリモーダルアライメント
• Abstract要約: IEEGのための最初のCLIPスタイルの3モーダルアライメントフレームワークであるBAT-CLIPを提案する。 自然なPodcastベンチマークでは、BAT-CLIPはバイモーダルCLIPベースラインよりも堅牢な表現が得られる。
• 参考スコア（独自算出の注目度）: 21.248879953602373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding and interpreting naturalistic speech from the brain increasingly relies on alignment to pretrained speech and language representation spaces. However, current CLIP-style brain-speech alignment ground neural activity to a single anchor modality-audio or text-despite the brain's inherently multimodal speech processing. This induces a trade-off: audio anchoring preserves temporal structure but weakens linguistic separability, while text anchoring captures semantics yet discards acoustic detail. We propose BAT-CLIP, the first CLIP-style trimodal alignment framework for iEEG that jointly aligns neural embeddings to both pretrained audio and text anchors in a shared, frozen audio-text manifold. On the naturalistic Podcast benchmark, BAT-CLIP yields more robust representations than bimodal CLIP baselines. We also highlight the importance of using self-supervised foundation models for CLIP training.
• Abstract（参考訳）: 脳から自然主義的な音声を解読し解釈する手法は、事前訓練された音声と言語表現空間のアライメントにますます依存している。 しかし、現在のCLIPスタイルの脳-音声アライメントは、脳が本質的にマルチモーダルな音声処理をしているにもかかわらず、単一のアンカーモードオーディオまたはテキストにグラウンドの神経活動を与える。 音声アンカーは時間的構造を保ちながら言語的分離性を弱め、テキストアンカーは意味論を捉えるが、音響的詳細は捨てる。 BAT-CLIPを提案する。これはiEEGのための最初のCLIPスタイルのトリモーダルアライメントフレームワークで、学習済みオーディオとテキストアンカーの両方にニューラルネットワークを協調的にアライメントする。 自然なPodcastベンチマークでは、BAT-CLIPはバイモーダルCLIPベースラインよりも堅牢な表現が得られる。 また,CLIPトレーニングに自己教師付き基礎モデルを使用することの重要性を強調した。

関連論文リスト

• GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM [42.93855899824886]
  新たな2分岐ArchiTecture(GOAT-TTS)を用いた音声合成手法を提案する。 GOAT-TTSは音声エンコーダとプロジェクタを組み合わせて連続的な音響埋め込みをキャプチャし、パラ言語的特徴(言語、音色、感情)と意味的テキスト表現の双方向の相関を可能にする。 実験の結果,GOAT-TTSは最先端のTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-15T01:44:56Z)
• Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT [10.18337180909434]
  非転写音声から意味のある特徴を抽出するためには,自己教師付き音声表現学習が不可欠である。 本稿では,音節単位を話者情報から分離する,音声のみの自己教師型微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:07:08Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)
• SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model [56.49878599920353]
  SpeechCLIPは、画像を通して音声とテキストをブリッジし、文字起こしなしに音声モデルを強化する新しいフレームワークである。 我々は、最先端の訓練済みのHuBERTとCLIPを活用し、ペア画像と音声キャプションを最小限の微調整で調整する。
  論文  参考訳（メタデータ） (2022-10-03T04:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。