論文の概要: Think, Verbalize, then Speak: Bridging Complex Thoughts and Comprehensible Speech

• arxiv url: http://arxiv.org/abs/2509.16028v1
• Date: Fri, 19 Sep 2025 14:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.206563
• Title: Think, Verbalize, then Speak: Bridging Complex Thoughts and Comprehensible Speech
• Title（参考訳）: 複雑な思考と理解可能なスピーチを編み出す
• Authors: Sang Hoon Woo, Sehun Lee, Kang-wook Kim, Gunhee Kim,
• Abstract要約: Think-Verbalize-Speakは、音声配信から推論を分離するフレームワークである。 また、インクリメンタルおよび非同期の要約に基づく遅延効率の高い動詞化器ReVerTについても紹介する。 複数のベンチマークによる実験結果から,本手法は音声の自然さと簡潔さを推論に最小限の影響で向上させることが示された。
• 参考スコア（独自算出の注目度）: 41.625380059502675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spoken dialogue systems increasingly employ large language models (LLMs) to leverage their advanced reasoning capabilities. However, direct application of LLMs in spoken communication often yield suboptimal results due to mismatches between optimal textual and verbal delivery. While existing approaches adapt LLMs to produce speech-friendly outputs, their impact on reasoning performance remains underexplored. In this work, we propose Think-Verbalize-Speak, a framework that decouples reasoning from spoken delivery to preserve the full reasoning capacity of LLMs. Central to our method is verbalizing, an intermediate step that translates thoughts into natural, speech-ready text. We also introduce ReVerT, a latency-efficient verbalizer based on incremental and asynchronous summarization. Experiments across multiple benchmarks show that our method enhances speech naturalness and conciseness with minimal impact on reasoning. The project page with the dataset and the source code is available at https://yhytoto12.github.io/TVS-ReVerT
• Abstract（参考訳）: 音声対話システムは、その高度な推論能力を活用するために、より大きな言語モデル(LLM)をますます採用している。 しかし、音声通信におけるLLMの直接適用は、最適なテキスト配信と音声配信のミスマッチにより、しばしば準最適結果をもたらす。 既存の手法はLLMに適応して音声に優しい出力を生成するが、推論性能への影響は未解明のままである。 本研究では,LLMの完全な推論能力を維持するために,音声配信から推論を分離するフレームワークであるThink-Verbalize-Speakを提案する。 我々の手法の中心は言語化であり、思考を自然な音声対応のテキストに変換する中間段階である。 また、インクリメンタルおよび非同期の要約に基づく遅延効率の高い動詞化器ReVerTについても紹介する。 複数のベンチマークによる実験結果から,本手法は音声の自然さと簡潔さを推論に最小限の影響で向上させることが示された。 データセットとソースコードを備えたプロジェクトページはhttps://yhytoto12.github.io/TVS-ReVerTで公開されている。

関連論文リスト

• Mini-Omni-Reasoner: Token-Level Thinking-in-Speaking in Large Speech Models [80.75260664100644]
  Mini-Omni-Reasonerは、"Thinking-in-Speaking"という新しい定式化を通じて、音声内での推論を可能にするフレームワークである。 トークンレベルで音声応答トークンとサイレント推論トークンをインターリーブする。 算術的推論では+19.1%、文脈的理解では+6.4%、出力は短く、復号遅延はゼロである。
  論文  参考訳（メタデータ） (2025-08-18T15:14:04Z)
• ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
  本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。 ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
  論文  参考訳（メタデータ） (2025-07-27T00:59:01Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Recent Advances in Speech Language Models: A Survey [45.968078636811356]
  音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。 本稿では,近年のSpeechLM構築手法について概観する。
  論文  参考訳（メタデータ） (2024-10-01T21:48:12Z)
• Internalizing ASR with Implicit Chain of Thought for Efficient Speech-to-Speech Conversational LLM [3.6950912517562435]
  本稿では,ASR の思考を音声 LLM に暗黙的に内部化する手法を提案する。 このアプローチはレイテンシを低減し、モデルの音声に対するネイティブ理解を改善し、より効率的で自然なリアルタイムオーディオインタラクションを実現する。
  論文  参考訳（メタデータ） (2024-09-25T20:59:12Z)
• Speech to Text Adaptation: Towards an Efficient Cross-Modal Distillation [15.225080891662675]
  音声理解は、膨大な事前訓練された言語モデルの推測の恩恵を受けることができる。 LMの上位層から完全に音声ベースのモジュールに知識を共有できるという仮説を実験的に検証した。
  論文  参考訳（メタデータ） (2020-05-17T10:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。