論文の概要: Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models

• arxiv url: http://arxiv.org/abs/2607.10162v1
• Date: Sat, 11 Jul 2026 06:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.32595
• Title: Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models
• Title（参考訳）: 人間のような聴覚 : 言語モデルにおける音のシンボリズムと知覚的アライメント
• Abstract要約: 音声記号(英: Sound symbolism)とは、音声を丸さや鋭さなどの知覚的な性質にマッピングする人間の傾向であり、主にスペルではなく音声の音響から生じる。 本研究は、実際の人間の音声記録を用いて、その効果の聴覚、クロスモーダル、視覚的要素にまたがる人間のデータとモデル判断を比較して研究する。 音声言語モデルの聴覚判断は、人間の知覚と不一致であり、人間の直感を駆動するスペクトル傾きなどの音響的手がかりを見逃すことが判明した。
• 参考スコア（独自算出の注目度）: 42.615235483872844
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sound symbolism, the human tendency to map speech sounds to perceptual qualities such as roundness or sharpness, arises primarily from the acoustics of speech rather than spelling. Whether Speech Language Models (SLMs) share this tendency remains open, as prior evaluations rely on text or images rather than real speech. We study it using genuine human speech recordings, comparing model judgments against human data across the auditory, crossmodal, and visual components of the effect. We find that SLMs' auditory judgments align poorly with human perception and miss the acoustic cues, such as spectral tilt, that drive human intuitions, and open-weight models cannot reliably link a heard sound to its corresponding shape. With a visual-only control ruling out shape perception, the weakness localizes to how speech is represented, suggesting that perceptual alignment depends not on stronger vision but on speech representations that capture the cues humans hear.
• Abstract（参考訳）: 音声記号(英: Sound symbolism)とは、音声を丸さや鋭さなどの知覚的な性質にマッピングする人間の傾向であり、主にスペルではなく音声の音響から生じる。 音声言語モデル(SLM)がこの傾向を共有しているかどうかについては、以前の評価が実際の音声よりもテキストや画像に依存しているため、未解決のままである。 本研究は、実際の人間の音声記録を用いて、その効果の聴覚、クロスモーダル、視覚的要素にまたがる人間のデータとモデル判断を比較して研究する。 SLMの聴覚判断は、人間の知覚とよく一致せず、人間の直感を駆動するスペクトル傾きのような音響的手がかりを見逃し、オープンウェイトモデルは、聴取音とそれに対応する形状を確実に結びつけることができない。 視覚のみの制御により、弱みは音声の表現方法に局在し、知覚的アライメントはより強い視覚だけでなく、人間の耳を捉える音声表現にも依存する。

関連論文リスト

• On the Emotion Understanding of Synthesized Speech [63.13411068766772]
  感情は音声対話における中核的なパラ言語的特徴である。 現在の音声感情認識(SER)モデルは、合成音声に一般化できない。 生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
  論文  参考訳（メタデータ） (2026-03-17T13:11:14Z)
• Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue [12.181747090385612]
  心的操作は、他者に影響を与えるか、搾取するために、言語を戦略的に利用することである。 音声対話における心的操作検出に関する最初の研究について述べる。 少数ショットの大きな音声言語モデルと人間のアノテーションを用いて、モーダリティが検出精度と知覚にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2026-01-13T09:02:08Z)
• Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models [22.710371114925763]
  音声基礎モデル(SFM)は、中間テキスト表現をバイパスし、生音声から音声言語の直接処理を可能にする。 この能力により、SFMは入力音声信号に埋め込まれた豊富なパラ言語的バリエーションに露出し、潜在的に応答することができる。 本研究では,音質の合成を特徴とする新たな並列データセットを提案する。
  論文  参考訳（メタデータ） (2025-10-29T14:44:44Z)
• Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech [29.510756530126837]
  音声中の人間の声道のMRIビデオにおいて,音声を視覚的に表現するデータ駆動方式を提案する。 先行知識に埋め込まれた大規模な事前学習音声モデルを用いて、視覚領域を一般化し、見当たらないデータを生成する。
  論文  参考訳（メタデータ） (2024-09-23T20:19:24Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• Silent versus modal multi-speaker speech recognition from ultrasound and video [43.919073642794324]
  舌の超音波画像と唇の映像から多話者音声認識について検討した。 モーダル音声からの画像データの訓練を行い,2つの発話モード(無声モードとモーダル音声)のマッチングテストセットの評価を行った。 画像データからの無声音声認識はモーダル音声認識に比べて低調であり,訓練とテストの発話モードミスマッチが原因と考えられる。
  論文  参考訳（メタデータ） (2021-02-27T21:34:48Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)
• Learning to Understand Child-directed and Adult-directed Speech [18.29692441616062]
  人間の言語習得研究は、児童指向の音声が言語学習者に役立つことを示している。 成人指向音声(ADS)と子ども指向音声(CDS)で訓練されたモデルのタスク性能の比較を行った。 CDSが学習の初期段階で有効であることを示す指標が得られたが、最終的には、ADSでトレーニングされたモデルは、同等のタスクパフォーマンスに達し、より一般化される。
  論文  参考訳（メタデータ） (2020-05-06T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。