論文の概要: From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition

• arxiv url: http://arxiv.org/abs/2610.41292v1
• Date: Fri, 30 Oct 2026 05:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.626882
• Title: From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition
• Title（参考訳）: 転写から改革へ:基底生成音声認識の定義とベンチマーク
• Abstract要約: 本稿では,1つの文字起こしではなく,意味的に基底化されたテキストを生成するものとして,音声認識を再構成するグラウンデッドジェネレーティブ音声認識(GSR)を紹介する。 GSR-Benchは、正確な書き起こしマッチング以上の生成音声認識システムを評価するために設計された最初の包括的なベンチマークである。
• 参考スコア（独自算出の注目度）: 24.157157245716235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech language models have expanded automatic speech recognition (ASR) from transcription to general speech-to-text generation. Yet existing benchmarks still assume a single ground-truth transcript per utterance, an assumption that struggles when models produce readable, formatted, or structured outputs. In this work, we introduce Grounded Generative Speech Recognition (GSR), reformulating speech recognition as generating semantically grounded text instead of a single transcript. We define a grounded reformulation space that characterizes all valid textual realizations supported by the input speech, and establish a four-level hierarchy of reformulation capabilities, including literal transcription, canonical reformulation, semantic reformulation and speech-grounded structuring. Based on this formulation, we present GSR-Bench, the first comprehensive benchmark designed to evaluate generative speech recognition systems beyond exact transcript matching. GSR-Bench covers diverse scenarios including refined meeting transcription, cross-dialect translation, context-aware speech understanding, and robustness under silent or noisy acoustic conditions. To address the limitations of word-level evaluation metrics, we develop a multi-dimensional evaluation framework combining speech grounding assessment and LLM-based semantic judgment, whose reliability is validated through human preference studies. Extensive experiments across representative architectures, ranging from conventional ASR systems to end-to-end Speech-LLMs, reveal fundamental trade-offs between transcription fidelity and generative reformulation ability. Our analysis further identifies critical failure modes, including acoustic hallucination, unsupported generation, and instruction drift, providing insights into the design and evaluation of future grounded generative speech systems.
• Abstract（参考訳）: 音声モデルにより、音声の自動音声認識(ASR)が書き起こしから一般的な音声テキスト生成へと拡張された。 しかし、既存のベンチマークでは、発話毎に1つの基幹文字を仮定しており、モデルが読みやすい、フォーマットされた、または構造化された出力を生成するときに苦労する仮定である。 そこで本研究では,1つのテキストではなく,意味的に基底化されたテキストを生成するものとして,音声認識を再構成するグラウンテッド生成音声認識(GSR)を提案する。 入力音声によって支持されるすべての有効なテキスト実現を特徴付ける基底的再構成空間を定義し、リテラル転写、正統的再構成、意味的再構成、音声地下構造を含む4段階の変換能力の階層を確立する。 この定式化に基づいて、GSR-Benchは、正確な転写マッチング以上の生成音声認識システムを評価するために設計された最初の総合的なベンチマークである。 GSR-Benchは、洗練されたミーティングの書き起こし、クロスダイアレクト翻訳、文脈認識型音声理解、サイレントまたはうるさい音響条件下での堅牢性など、様々なシナリオをカバーしている。 単語レベルの評価指標の限界に対処するため,人間の嗜好調査によって信頼性が検証された音声基礎評価とLLMに基づく意味判断を組み合わせた多次元評価フレームワークを開発した。 従来のASRシステムからエンドツーエンドの音声-LLMまで、代表アーキテクチャ全体にわたる広範な実験により、転写の忠実度と生成的再構成能力の基本的なトレードオフが明らかになった。 本分析では, 音響幻覚, 伴奏生成, 命令ドリフトなどの重要な障害モードを同定し, 将来の音声合成システムの設計と評価について考察する。

関連論文リスト

• Quantifying the Generation Modality Gap in Speech-Text Language Models [22.8588553114451]
  純粋な音声言語モデルは、コヒーレントなコンテンツを生成する際に、テキストや音声-テキスト言語モデルに遅れをとることが多い。 本研究では,連続音響特徴量生成のためのフローマッチングに基づいて,音声モデル群における音声文のモダリティギャップについて検討する。 我々は、一致したデータに基づいて訓練された音声のみ、テキストのみ、および音声テキスト言語モデルを比較する、統合された世代ベース評価スイートを構築した。
  論文  参考訳（メタデータ） (2026-09-13T19:09:07Z)
• Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving [54.66679099886108]
  音声-LLM統合は、広範囲なテキスト事前学習を活用することで有望な結果を示しているが、自動音声認識(ASR)の具体的な利点はいまだ不明である。 本稿では,単語レベルとセグメントレベルのインターリーブ付き音声テキストシーケンスを構成するASR指向の事前学習戦略であるJSTIPを提案する。 ASRデータの38k時間の実験では、ASRのみのトレーニングベースラインと共同音声テキストトレーニングベースラインと比較して、一貫したエンティティ精度が向上した。
  論文  参考訳（メタデータ） (2026-07-02T05:42:01Z)
• On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
  大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。 本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-09T22:01:56Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
  SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。 事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。 11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
  論文  参考訳（メタデータ） (2025-08-04T03:28:04Z)
• Exploring Generative Error Correction for Dysarthric Speech Recognition [12.584296717901116]
  本稿では,InterSPEECH 2025における音声アクセシビリティ・プロジェクト・チャレンジのための2段階フレームワークを提案する。 モデルスケールとトレーニング戦略の異なる構成を評価し、特定の仮説選択を取り入れて転写精度を向上させる。 変形性音声認識における音響モデルと言語モデリングの相補的役割について考察する。
  論文  参考訳（メタデータ） (2025-05-26T16:06:31Z)
• Learning Disentangled Speech Representations [0.412484724941528]
  SynSpeechは、非絡み合った音声表現の研究を可能にするために設計された、新しい大規模合成音声データセットである。 本稿では, 線形探索と教師付きアンタングル化指標を併用して, アンタングル化表現学習手法を評価する枠組みを提案する。 SynSpeechは、さまざまな要因のベンチマークを促進し、ジェンダーや話し方のようなより単純な機能の切り離しを期待できると同時に、話者アイデンティティのような複雑な属性を分離する際の課題を強調します。
  論文  参考訳（メタデータ） (2023-11-04T04:54:17Z)
• High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units [69.06657692891447]
  本稿では,自己教師付き離散音声単位予測の学習目的を活用した新しいAVO手法を提案する。 実験結果から,提案手法は有意な唇音声同期と高音質を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-29T15:02:22Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。