論文の概要: A Benchmark for Controllable Speaking-Style Captioning in Audio-Language Models

• arxiv url: http://arxiv.org/abs/2610.33036v2
• Date: Tue, 27 Oct 2026 16:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.148419
• Title: A Benchmark for Controllable Speaking-Style Captioning in Audio-Language Models
• Title（参考訳）: 音声言語モデルにおける制御可能な話し方キャプションのベンチマーク
• Abstract要約: StyleInstructCapsは、音声モデルにおける制御可能な話し方キャプションのための最初の標準ベンチマークである。 強い指示追従能力は必ずしも発話スタイルの理解を前提としない。 SSC固有のインストラクション・ディバーストレーニングは、基底性、制御性、話者の一貫性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 10.50435219400232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speaking-style captioning (SSC) aims to generate natural language descriptions of how speech is delivered, capturing paralinguistic attributes such as vocal timbre, prosody, and expressivity. Many downstream applications, including conversational AI agents, controllable speech generation, and large-scale audio annotation, require dimension-specific style captions that describe targeted aspects of speech (e.g., speaker traits, emotion, or delivery style), rather than a single undifferentiated description. However, existing work lacks a unified formulation for controllable speaking-style captioning. We address this gap by formulating SSC as an instruction-following audio-language task, where explicit instructions specify the speaking-style dimensions to be described. We introduce StyleInstructCaps, the first standardized benchmark for controllable speaking-style captioning in audio-language models. StyleInstructCaps provides a dataset and evaluation framework that measures metadata groundedness, hallucination, instruction-following ability, generalization to unseen instructions and audio datasets, and speaker-style consistency. Across nine state-of-the-art audio-language models, we find that strong instruction-following ability does not necessarily imply grounded speaking-style understanding, and that SSC-specific instruction-diverse training substantially improves groundedness, controllability, and speaker consistency.
• Abstract（参考訳）: 話し方キャプション(SSC)は、音声の音色、韻律、表現性などのパラ言語的属性をキャプチャして、音声の届け方に関する自然言語記述を生成することを目的としている。 会話型AIエージェント、制御可能な音声生成、大規模オーディオアノテーションを含む多くのダウンストリームアプリケーションは、単一の未分化の記述ではなく、ターゲットとなる音声(例えば、話者の特徴、感情、配信スタイル)を記述した次元固有のスタイルキャプションを必要とする。 しかし、既存の作品には、制御可能な話し方キャプションの統一的な定式化が欠けている。 我々は,SSCを指示追従型音声言語タスクとして定式化することで,このギャップに対処する。 StyleInstructCapsは、音声モデルにおける制御可能な話し方キャプションのための最初の標準ベンチマークである。 StyleInstructCapsは、メタデータの基盤性、幻覚、命令フォロー能力、見えない命令やオーディオデータセットへの一般化、スピーカースタイルの一貫性を測定するデータセットと評価フレームワークを提供する。 9つの最先端の音声言語モデルにおいて、強い指示追従能力は必ずしも発話スタイルの理解を暗示するものではないことが分かり、SSC固有の命令多様性訓練は、基礎性、制御性、話者の整合性を大幅に向上させる。

関連論文リスト

• Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech [13.90951969577916]
  自然言語スタイルの記述は、大きな言語モデルと制御可能なテキスト音声(TTS)の間の解釈可能なインターフェースを提供する 本稿では,テキストベースのスタイルプランナを,凍った下流TSモデルを用いて訓練する音声回帰型スタイルプランニング(SRSP)を提案する。 ISCSLP 2026 CoT-TTSコーパスの英語サブセットでは、SRSPはターゲット音声と低いメル-ケプストラム歪みとのより高い音声スタイルと感情類似性を達成している。
  論文  参考訳（メタデータ） (2026-10-08T08:12:28Z)
• INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval [53.79335341504602]
  INSPIREは命令対応音声検索のための最初のベンチマークである。 我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。
  論文  参考訳（メタデータ） (2026-08-17T07:35:18Z)
• VStyle: A Benchmark for Voice Style Adaptation with Spoken Instructions [66.93932684284695]
  音声理解と生成のための統一パラダイムとして、音声言語モデル(SLM)が登場した。 音声スタイル適応(VSA)は,SLMが話し方を変更することができるかどうかを調べる新しいタスクである。 音響属性,自然言語命令,ロールプレイ,暗黙の共感の4つのカテゴリを網羅したベンチマークであるVStyleを提案する。 また,Large Audio Language Model as a Judge (LALM as a Judge) フレームワークを導入し,文章の忠実性,スタイルの忠実性,自然性に沿って出力を段階的に評価する。
  論文  参考訳（メタデータ） (2025-09-09T14:28:58Z)
• Classifier-Guided Captioning Across Modalities [69.75111271002137]
  本稿では,音声キャプションにおける可聴性の獲得など,代替設定のセマンティクスにキャプションネットワークを適用する手法を提案する。 本フレームワークは, (i) 言語モデル(LM)を組み込んだ冷凍キャプションシステムと, (ii) キャプションシステムを案内するテキスト分類器の2つの主要コンポーネントから構成される。 特に、既存のゼロショット音声キャプションシステムと組み合わせることで、その品質を改善し、ゼロショット音声キャプションにおける最先端の性能を設定する。
  論文  参考訳（メタデータ） (2025-01-03T18:09:26Z)
• SpeechCraft: A Fine-grained Expressive Speech Dataset with Natural Language Description [19.064845530513285]
  本稿では,表現的かつ鮮明な人間の言語記述で単語中の音声クリップに注釈を付ける,解釈のための自動音声アノテーションシステムを提案する。 本システムでは,自然言語記述の調整による音声スタイルの深い理解を提供する。 約2000時間の音声データを含み、200万以上の音声クリップを含む、高度に記述的な自然言語スタイルのプロンプトによって区別されている。
  論文  参考訳（メタデータ） (2024-08-24T15:36:08Z)
• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models [17.945821635380614]
  StyleCapは、音声に現れる話し方の自然言語記述を生成する方法である。 StyleCapは、音声と自然言語の記述のペアデータで訓練される。
  論文  参考訳（メタデータ） (2023-11-28T04:49:17Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。