論文の概要: Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts
- arxiv url: http://arxiv.org/abs/2607.06611v1
- Date: Tue, 07 Jul 2026 06:48:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.152564
- Title: Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts
- Title（参考訳）: 生成した多言語文字の蒸留と相互統合による音声知覚分析
- Abstract要約: 本稿では、モーダル変換器を介して音声とテキスト情報を統合したソリューションを提案する。
書き起こしを複数の言語に自動翻訳することで、複数のテキストモダリティを作成する。
大規模なデータセット上で実験を行い、自動生成されたテキスト情報によって大幅なパフォーマンス向上が期待できることを示す。
- 参考スコア（独自算出の注目度）: 19.665433846791412
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automatically recognizing the sentiment, positive or negative, from speech is a challenging task, requiring both the analysis of vocal inflections and the interpretation of uttered words. Recent solutions rely on audio foundation models to solve the task, but it remains unclear if such models can take all aspects into account. To this end, we propose a multimodal solution that integrates audio and text information via cross-modal transformers, where text transcripts are automatically generated via an automatic speech recognition (ASR) tool. Moreover, we create multiple text modalities by automatically translating the transcripts into multiple languages via machine translation tools. Audio and multilingual text features are combined via a cascaded architecture comprising cross-modal transformer blocks that integrate modalities one by one. We further distill knowledge from the multimodal model, called teacher, into a unimodal (audio only) model, called student. We conduct experiments on a large-scale dataset, demonstrating that the automatically generated textual information can bring significant performance boosts in multimodal sentiment polarity classification. Our ablation study confirms that both automatic transcripts and automatic translations are helpful. Moreover, we show that the audio-only model can be enhanced via distillation, boosting performance without any computational overhead during inference. To reproduce the reported results, we publicly release our code at https://github.com/andreidurdun/cross-modal-audio-sentiment.
- Abstract（参考訳）: 音声からの感情、肯定的あるいは否定的な認識は難しい課題であり、発声のインフレクションの分析と発声された単語の解釈の両方を必要とする。
近年のソリューションは,課題を解決するために音声基礎モデルに依存しているが,これらのモデルがすべての側面を考慮できるかどうかは不明だ。
そこで本研究では,音声認識(ASR)ツールを用いてテキストの書き起こしを自動的に生成するクロスモーダルトランスフォーマーを用いて,音声とテキスト情報を統合したマルチモーダルソリューションを提案する。
さらに,機械翻訳ツールを用いてテキストを複数言語に自動翻訳することで,複数のテキストモダリティを生成する。
音声および多言語テキスト機能は、モダリティを1つずつ統合するクロスモーダルトランスフォーマーブロックからなるカスケードアーキテクチャを介して結合される。
さらに,教師と呼ばれるマルチモーダルモデルから,学生と呼ばれる単調(音声のみ)モデルに知識を抽出する。
大規模なデータセット上で実験を行い、自動生成されたテキスト情報により、マルチモーダルな感情極性分類において大きなパフォーマンス向上が期待できることを示す。
本研究は,自動翻訳と自動翻訳の両方が有用であることを確認した。
さらに, 提案手法は蒸留により拡張可能であり, 推論時の計算オーバーヘッドを伴わずに性能を向上できることを示す。
報告された結果を再現するため、私たちはhttps://github.com/andreidurdun/cross-modal-audio-sentiment.comでコードを公開しています。
関連論文リスト
- Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。
Audexは単一のTransformerデコーダで単純な統一設計を採用する。
Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
論文 参考訳（メタデータ） (2026-07-06T15:11:57Z) - ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。
このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
論文 参考訳（メタデータ） (2026-04-22T07:11:58Z) - From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training [19.396162898865864]
Text-to-Talk (TtT) は、自動回帰(AR)テキスト生成と非自己回帰(NAR)音声拡散を統合した統合オーディオテキストフレームワークである。
このハイブリッド生成パラダイムをサポートするために,テキストの因果復号を強制するモダリティ対応アテンション機構を設計する。
推論中、TtTは可変長出力を柔軟に処理しながら、ブロックワイド拡散を用いてオーディオを並列に合成する。
論文 参考訳（メタデータ） (2025-09-24T12:44:26Z) - From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。
これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。
本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:08:41Z) - Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis [13.702423348269155]
Video-Text to Speech (VTTS) は、会話者のテキストとビデオの両方に条件付けされた音声生成タスクである。
視覚,テキスト,音声の入力を共有部分空間に埋め込む,マルチモーダルデコーダのみの統合トランスフォーマモデルであるVisatronicを導入する。
LRS3でのみ訓練されたSOTA法よりも優れた4.5%のWERが得られることを示す。
論文 参考訳（メタデータ） (2024-11-26T18:57:29Z) - Cascaded Cross-Modal Transformer for Audio-Textual Classification [30.643750999989233]
本稿では,自動音声認識(ASR)モデルを用いた音声の書き起こしにより,マルチモーダル表現の固有値を活用することを提案する。
これにより、各データサンプルに対する音声テキスト(マルチモーダル)表現が得られる。
我々は、ACM Multimedia 2023 Computational Paralinguistics Challenge の Requests Sub-Challenge において、勝利のソリューションであると宣言された。
論文 参考訳（メタデータ） (2024-01-15T10:18:08Z) - AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳（メタデータ） (2023-06-22T14:37:54Z) - Exploring the Role of Audio in Video Captioning [59.679122191706426]
本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。
本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
論文 参考訳（メタデータ） (2023-06-21T20:54:52Z) - Self-Supervised Audio-and-Text Pre-training with Extremely Low-Resource
Parallel Data [15.658471125219224]
音声とテキストのマルチモーダル事前学習は有効であることが証明され、ダウンストリーム音声理解タスクの性能が大幅に向上した。
しかし、これらの最先端の訓練済みオーディオテキストモデルは、大量の並列オーディオとテキストデータを提供する場合にのみ、うまく機能する。
本稿では,低リソース並列データを用いた音声テキストモデルの事前学習が可能かどうかを検討する。
論文 参考訳（メタデータ） (2022-04-10T10:25:37Z) - VX2TEXT: End-to-End Learning of Video-Based Text Generation From
Multimodal Inputs [103.99315770490163]
本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。
実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
論文 参考訳（メタデータ） (2021-01-28T15:22:36Z) - SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech
Translation [12.292167129361825]
自動音声翻訳における訓練データ拡張のための自動符号化話者変換を提案する。
この技術は直接音声シーケンスを変換し、その結果、他の話者の声に似た音声が合成される。
提案手法は,英語$to$ Frenchと英語$to$Romanian Automatic Speech Translation (AST)タスクのSpecAugmentと比較した。
論文 参考訳（メタデータ） (2020-02-27T16:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。