論文の概要: Do Audio Language Models Hear and Read Distinctive Features Alike?

• arxiv url: http://arxiv.org/abs/2609.30167v1
• Date: Thu, 24 Sep 2026 17:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.156931
• Title: Do Audio Language Models Hear and Read Distinctive Features Alike?
• Title（参考訳）: 音声言語モデルでは、特定の特徴を聴いて読むことはできるのか?
• Abstract要約: 言語モデルが1つのデコーダを介して音声とテキストを渡すかどうかを問う。 1つの特徴で異なる最小対の音素に対して、我々は2つのメンバーの平均表現のオフセットを取る。 これらのオフセットを平均すると、各ストリームの方向が示され、両者のコサインを測定する。
• 参考スコア（独自算出の注目度）: 4.486629113012585
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Audio language models pass speech and text through a single decoder. We ask whether that decoder represents a distinctive feature in the same direction when a phoneme is heard and when it is read. For minimal pairs of phonemes differing in one feature, we take the offset between the two members' mean representations. Averaging those offsets gives a direction for each stream, and we measure the cosine between the two. Because the two streams already agree about arbitrary phoneme pairs, we compare every measure against a reference built from random pairings rather than against zero. We apply this to 6 models, 7 features and 15 languages from 11 families. Only voicing in the two Qwen2.5-Omni models exceeds that reference after correction for multiple testing, and the reference varies by a factor of seven between models. In three of the six models, voicing has one direction in audio across the 14 languages with enough minimal pairs to measure it, and every language pair agrees in two of them. The model family, not the model size, predicts which stream represents a feature.
• Abstract（参考訳）: 音声言語モデルは、単一のデコーダを介して音声とテキストを渡す。 我々は,そのデコーダが音素を聴いた時と読み取った時とで,同じ方向の特徴的な特徴を表すかどうかを問う。 1つの特徴で異なる最小対の音素に対して、我々は2つのメンバーの平均表現のオフセットを取る。 これらのオフセットを平均すると、各ストリームの方向が示され、両者のコサインを測定する。 2つのストリームは任意の音素対について既に一致しているので、すべての測度をゼロではなくランダムなペアリングから作られた参照と比較する。 これを、11ファミリーの6つのモデル、7つの機能、15の言語に適用します。 2つのQwen2.5-Omniモデルでの発声のみが、複数のテストの修正後の基準を超え、参照はモデル間で7つの要因によって異なる。 6つのモデルのうち3つのモデルにおいて、発声は14言語にまたがる1つの方向の音声を持ち、それを測定するのに十分な最小のペアを持ち、各言語ペアはそのうち2つで一致している。 モデルサイズではなくモデルファミリは、どのストリームが機能を表すかを予測します。

関連論文リスト

• TokenMapper: A Step Toward Interoperable Speech Token Translation [8.31951995439269]
  TokenMapperは、音声トークン化者間で直接トークン変換を行うための方向認識フレームワークである。 GLM-4-Voice、MiMi、DualCodecの実験では、一貫したクロスモデル性能を示している。 その結果,中間波形再構成を伴わないクロスモデル音声トークンの相互運用に向けた実践的なステップが得られた。
  論文  参考訳（メタデータ） (2026-09-11T08:04:09Z)
• Heard but Not Heeded: Paralinguistic Information Encoding and Loss in Audio-Language Models [58.79935033105039]
  本稿では,Whisper-large-v2,Qwen2-Audio-7B Instruct,Qwen2.5-Omni-7B,Chroma-4Bの4つのオープンソースモデルにおけるパラ言語情報の力学解析を行った。 我々は、中心となるカーネルアライメント、線形探索と1人の話者のアウト評価、オープンエンドトーン予測、およびコンテンツ韻律リークメトリクスを組み合わせることで、スタイル情報がオーディオエンコーダから最終出力へどのように移動するかを追跡する。
  論文  参考訳（メタデータ） (2026-09-01T05:03:33Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Estimated Audio-Caption Correspondences Improve Language-Based Audio Retrieval [3.5570874721859016]
  本稿では,複数の検索モデルを推定文を使わずに訓練する2段階の訓練手法を提案する。 第2段階では、これらのモデルによって予測される音声カプセル対応が予測ターゲットとして機能する。 提案手法をClosoV2とAudioCapsベンチマークで評価し, 自己蒸留条件が制限された場合でも, 検索性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T14:10:58Z)
• Establishing degrees of closeness between audio recordings along different dimensions using large-scale cross-lingual models [4.349838917565205]
  そこで本稿では,メタデータを慎重にキュレートした音声録音におけるABXテストを用いた教師なしの新しい手法を提案する。 3つの実験が考案され、1つは室内音響、もう1つは言語学的ジャンル、もう1つは音声学的側面である。 その結果,異なる言語・言語的特徴を持つ記録から抽出した表現は,同じ線に沿って異なることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-08T11:31:23Z)
• Scaling Up Deliberation for Multilingual ASR [36.860327600638705]
  多言語音声認識のための第2パス検討について検討する。 テキストエンコーダは複数の言語からの仮説テキストをエンコードし,デコーダは多言語テキストと音声に付随する。 検討の結果,9言語の平均 WER はシングルパスモデルと比較して4% 向上していることがわかった。
  論文  参考訳（メタデータ） (2022-10-11T21:07:00Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)
• What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure [64.54208910952651]
  オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。 音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。 ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
  論文  参考訳（メタデータ） (2021-01-02T06:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。