論文の概要: Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

• arxiv url: http://arxiv.org/abs/2610.28189v1
• Date: Tue, 20 Oct 2026 13:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.830009
• Title: Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons
• Title（参考訳）: クロスモーダル概念ニューロンを用いた大規模オーディオ言語モデルにおける音声テキストアライメントの発見
• Abstract要約: クロスモーダルニューロンは音声とテキストの両方を表現している。 因果的介入(神経細胞のステアリングと不活性化)は、クロスモーダルニューロンが単に予測に必要であるだけでなく、操作も可能であることを確認する。
• 参考スコア（独自算出の注目度）: 52.58288331604263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the language model backbone is pretrained on text alone, large audio-language models (LALMs) can, to a great extent, recognize acoustic attributes, such as emotion, speaker gender, and spoken language. However, it is unclear how the audio representation is integrated, if at all, with the other text representation before the model produces text. We hypothesize that there is a shared subspace where the audio and text representations are aligned. To test this hypothesis, we identify cross-modal neurons that are responsible for representing both audio and text. We find alignment between audio and text neurons to various degrees across three LALMs and four acoustic attribute types. Causal interventions, steering and deactivating the neurons, confirm that the cross-modal neurons are not just necessary for prediction but can also be manipulated.
• Abstract（参考訳）: 言語モデルバックボーンはテキストだけで事前訓練されているが、大きなオーディオ言語モデル(LALM)は感情、話者の性別、音声言語などの音響特性を認識することができる。 しかし、モデルがテキストを生成する前に、音声表現がどのように他のテキスト表現と統合されているかは明らかではない。 音声とテキストの表現が一致した共有部分空間が存在するという仮説を立てる。 この仮説をテストするために、音声とテキストの両方を表現する責任を負うクロスモーダルニューロンを同定する。 音声とテキストのニューロン間のアライメントは3つのLALMと4つの音響特性タイプで異なる。 因果的介入(神経細胞のステアリングと不活性化)は、クロスモーダルニューロンが単に予測に必要であるだけでなく、操作も可能であることを確認する。

関連論文リスト

• SeeingSounds: Learning Audio-to-Visual Alignment via Text [15.011814561603964]
  本稿では,音声,言語,視覚の相互作用を利用した画像生成のためのフレームワークであるSeeingSoundsを紹介する。 音声は凍結言語エンコーダを介して意味言語空間に投影され、視覚言語モデルを用いて文脈的に視覚領域に基底される。 このアプローチは認知神経科学にインスパイアされ、人間の知覚で観察される自然な相互関連を反映している。
  論文  参考訳（メタデータ） (2025-10-10T18:42:50Z)
• Synthetic Audio Helps for Cognitive State Tasks [5.372301053935417]
  テキスト音声合成モデルでは,自然な音声を生成するために,認知状態の側面の追跡を学習する。 我々は、認知状態モデリングに関連する7つのタスクがマルチモーダルトレーニングの恩恵を受けることを示すフレームワークであるSynthetic Audio Data Fine-tuning(SAD)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T17:16:24Z)
• AND: Audio Network Dissection for Interpreting Deep Acoustic Models [13.046230333961782]
  $textitAND$は、高応答性オーディオに基づいて、音響ニューロンの自然言語説明を自動的に確立するフレームワークである。 さらに、オーディオマシンのアンラーニングに$textitAND$を使用する可能性を示す。
  論文  参考訳（メタデータ） (2024-06-24T06:02:07Z)
• SALMONN: Towards Generic Hearing Abilities for Large Language Models [24.73033723114979]
  音声音声言語音楽オープンニューラルネットワークSALMONNを提案する。 事前訓練されたテキストベースの大規模言語モデル(LLM)と音声および音声エンコーダを単一のマルチモーダルモデルに統合することによって構築される。 これは、そのタイプの最初のモデルであり、汎用的な聴覚能力を持つAIへのステップと見なすことができる。
  論文  参考訳（メタデータ） (2023-10-20T05:41:57Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Unsupervised Cross-Modal Audio Representation Learning from Unstructured Multilingual Text [69.55642178336953]
  教師なし音声表現学習へのアプローチを提案する。 3重項ニューラルネットワークアーキテクチャに基づいて、意味論的に関連付けられたクロスモーダル情報を用いて、音声トラック関連性を推定する。 我々のアプローチは、様々なアノテーションスタイルと、このコレクションの異なる言語に不変であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T07:37:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。