論文の概要: SpeechSense: A Paralinguistic-Focused Dataset for Fine-Grained Speech Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2608.17931v1
- Date: Tue, 18 Aug 2026 15:51:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.39217
- Title: SpeechSense: A Paralinguistic-Focused Dataset for Fine-Grained Speech Sentiment Analysis
- Title（参考訳）: 音声センス:細粒度音声知覚分析のためのパラ言語的焦点付きデータセット
- Abstract要約: 音声知覚分析は、多種多様な実世界の応用のためのパラ言語的手がかりを復号する上で重要な役割を担っている。
既存のアプローチは、テキスト分析を伴う自動音声認識をカスケードするテキスト中心のパイプラインに依存している。
本稿では,音声感情分析のための新しいデータセットであるSpeechSenseを提案する。
- 参考スコア（独自算出の注目度）: 45.09009423124683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in AI have revolutionized speech processing, yet effective speech understanding requires discerning not just what is said, but how it is said. Speech Sentiment Analysis plays a critical role in decoding these paralinguistic cues for diverse real-world applications such as recruitment and customer service. However, existing Speech Sentiment Analysis research faces two primary limitations. First, dominant approaches rely on text-centric pipelines that cascade Automatic Speech Recognition with text analysis. This process inevitably discards essential acoustic features like prosody and tone, failing to capture attitudinal meanings in acoustically ambiguous utterances. Second, current benchmarks suffer from a mismatch in label granularity, prioritizing basic emotions (e.g., happy, sad) over the nuanced interpersonal stances (e.g., confident, impatient) necessary for social sensitivity. To address these limitations, we propose a novel dataset, SpeechSense, for fine-grained speech sentiment analysis. Specifically, we define a specialized 8-class taxonomy of interpersonal stances detectable primarily through prosodic cues beyond lexical content alone. We then construct a curated dataset based on this taxonomy, built from high-fidelity speech synthesis and rigorous human validation. Comprehensive experiments across multi-modal LLMs, text-only LLMs, and speech encoders demonstrate that models with acoustic access consistently outperform text-only baselines. These results empirically validate the primacy of acoustic cues in detecting subtle speaker attitudes, highlighting the necessity of SpeechSense. Dataset and supplementary materials are available at https://github.com/Sher13cked/SpeechSense.
- Abstract（参考訳）: AIの最近の進歩は、音声処理に革命をもたらしたが、効果的な音声理解には、何を言ったかだけでなく、どのように言ったかを理解する必要がある。
音声知覚分析は、採用やカスタマーサービスといった様々な現実世界のアプリケーションに対して、これらのパラ言語的手がかりを復号する上で重要な役割を担っている。
しかし、既存の音声知覚分析研究は2つの大きな限界に直面している。
第一に、支配的なアプローチは、テキスト分析を伴う自動音声認識をカスケードするテキスト中心のパイプラインに依存している。
このプロセスは必然的にプロソディやトーンのような重要な音響的特徴を排除し、音響的に曖昧な発話において位置的意味を捉えない。
第二に、現在のベンチマークはラベルの粒度のミスマッチに悩まされ、社会的感受性に必要な不確実な対人的スタンス(例えば、自信、不快感)に対して基本的な感情(例えば、幸福、悲しみ)を優先する。
これらの制約に対処するために,音声感情分析のための新しいデータセットであるSpeechSenseを提案する。
具体的には、主に語彙内容以外の韻律的手がかりによって検出できる、対人姿勢の専門的な8クラス分類を定義する。
そこで我々は,高忠実度音声合成と厳密な人間の検証から構築した,この分類に基づくキュレートデータセットを構築した。
テキストのみのLLM、テキストのみのLLM、音声エンコーダの総合的な実験により、音響アクセスを持つモデルはテキストのみのベースラインを一貫して上回ることを示した。
これらの結果は,微妙な話者姿勢の検出における音響的手がかりの優位性を実証的に検証し,音声センスの必要性を強調した。
データセットと補足資料はhttps://github.com/Sher13cked/SpeechSense.comで入手できる。
関連論文リスト
- Speech Codec Probing from Semantic and Phonetic Perspectives [49.01048570474675]
音声トークン化器は,マルチモーダルシステムにおいて,音声を大言語モデル (LLM) に接続するために必須である。
新たな証拠は、音声表現において「意味」と呼ばれるものは、テキスト由来の意味論と一致しないことを示している。
論文 参考訳（メタデータ） (2026-03-11T03:32:25Z) - Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue [12.181747090385612]
心的操作は、他者に影響を与えるか、搾取するために、言語を戦略的に利用することである。
音声対話における心的操作検出に関する最初の研究について述べる。
少数ショットの大きな音声言語モデルと人間のアノテーションを用いて、モーダリティが検出精度と知覚にどのように影響するかを評価する。
論文 参考訳（メタデータ） (2026-01-13T09:02:08Z) - Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data [46.12417789276609]
音声-LLMは、書き起こしや翻訳といったタスクにおいて顕著なパフォーマンスを示してきたが、社会的および感情的な知性に不可欠な音声のパラ言語的側面を理解することにはまだ限界がある。
文脈パラ言語推論における音声LLMの評価のためのベンチマークであるCP-Benchを提案する。
論文 参考訳（メタデータ） (2025-09-20T09:26:40Z) - What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。
LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。
SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
論文 参考訳（メタデータ） (2025-06-14T15:26:31Z) - Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs [2.8728982844941178]
音声感情認識(SER)は、音声言語から感情状態を特定することに焦点を当てている。
データ信頼性を確保するために、まず利用可能なすべての書き起こしを改良する新しいアプローチを提案する。
次に、各会話をより小さな対話に分割し、これらの対話を文脈として使用し、対話内のターゲット発話の感情を予測する。
論文 参考訳（メタデータ） (2024-10-27T04:23:34Z) - Acoustic and linguistic representations for speech continuous emotion
recognition in call center conversations [2.0653090022137697]
本稿では,AlloSat corpus へのトランスファー学習の一形態として,事前学習した音声表現の利用について検討する。
実験により,事前学習した特徴を用いて得られた性能の大きな向上を確認した。
驚いたことに、言語内容が満足度予測の主要な要因であることは明らかでした。
論文 参考訳（メタデータ） (2023-10-06T10:22:51Z) - EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech
Resynthesis [49.04496602282718]
テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。
このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。
自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
論文 参考訳（メタデータ） (2023-08-10T17:41:19Z) - token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired
Speech and Text [65.04385919645395]
token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。
実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
論文 参考訳（メタデータ） (2022-10-30T06:38:19Z) - SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。
具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。
音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
論文 参考訳（メタデータ） (2022-09-30T09:12:10Z) - Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement
by Re-Synthesis [67.73554826428762]
本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。
提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
論文 参考訳（メタデータ） (2022-03-31T17:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。