論文の概要: SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

• arxiv url: http://arxiv.org/abs/2510.06917v1
• Date: Wed, 08 Oct 2025 11:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.468643
• Title: SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models
• Title（参考訳）: SHANKS: 音声言語モデルの同時聴取と思考
• Authors: Cheng-Han Chiang, Xiaofei Wang, Linjie Li, Chung-Ching Lin, Kevin Lin, Shujie Liu, Zhendong Wang, Zhengyuan Yang, Hung-yi Lee, Lijuan Wang,
• Abstract要約: 現在の大規模言語モデル (LLM) と音声言語モデル (SLM) は、ユーザがターンを終えた後にのみ、思考と行動を取る。 これにより、モデルがユーザのターン中に対話するのを防ぎ、考えるのを待つ間、レスポンスのレイテンシが高くなります。 SHANKSは,ユーザ入力を聴きながら,無意味な連鎖推論をSLMが生成できるフレームワークである。
• 参考スコア（独自算出の注目度）: 158.18422855768756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current large language models (LLMs) and spoken language models (SLMs) begin thinking and taking actions only after the user has finished their turn. This prevents the model from interacting during the user's turn and can lead to high response latency while it waits to think. Consequently, thinking after receiving the full input is not suitable for speech-to-speech interaction, where real-time, low-latency exchange is important. We address this by noting that humans naturally "think while listening." In this paper, we propose SHANKS, a general inference framework that enables SLMs to generate unspoken chain-of-thought reasoning while listening to the user input. SHANKS streams the input speech in fixed-duration chunks and, as soon as a chunk is received, generates unspoken reasoning based on all previous speech and reasoning, while the user continues speaking. SHANKS uses this unspoken reasoning to decide whether to interrupt the user and to make tool calls to complete the task. We demonstrate that SHANKS enhances real-time user-SLM interaction in two scenarios: (1) when the user is presenting a step-by-step solution to a math problem, SHANKS can listen, reason, and interrupt when the user makes a mistake, achieving 37.1% higher interruption accuracy than a baseline that interrupts without thinking; and (2) in a tool-augmented dialogue, SHANKS can complete 56.9% of the tool calls before the user finishes their turn. Overall, SHANKS moves toward models that keep thinking throughout the conversation, not only after a turn ends. Animated illustrations of Shanks can be found at https://d223302.github.io/SHANKS/
• Abstract（参考訳）: 現在の大規模言語モデル (LLM) と音声言語モデル (SLM) は、ユーザがターンを終えた後にのみ、思考と行動を取る。 これにより、モデルがユーザのターン中に対話するのを防ぎ、考えるのを待つ間、レスポンスのレイテンシが高くなります。 その結果, リアルタイム低遅延交換が重要となる音声と音声の対話には, 完全な入力を受信した後の思考は適さないことがわかった。 我々は、人間が自然に「耳を傾けながら考える」ことに注意して、この問題に対処する。 本稿では、ユーザ入力を聴きながら、SLMが無意味な連鎖推論を生成できる一般的な推論フレームワークであるSHANKSを提案する。 SHANKSは、入力された音声を固定順のチャンクでストリームし、チャンクが受信されると、以前のすべての音声と推論に基づいて無意味な推論を生成し、ユーザは引き続き話す。 SHANKSはこの予期せぬ推論を使用して、ユーザを中断するか、タスクを完了させるためにツールコールを行うかを決定する。 SHANKSは,(1)ユーザが数学問題に対してステップバイステップのソリューションを提示している場合,SHANKSは,ユーザがミスを犯したときの聴取,理性,割り込みが可能であり,また,思考なしで割り込みを行うベースラインよりも37.1%高い割り込み精度を達成でき,(2)ツール拡張対話では,ユーザがターンを終了する前にツールコールの56.9%を完了させることができる。 全体としてSHANKSは、ターンが終わった後だけでなく、会話を通して考え続けるモデルに向かっている。 Shanksのアニメーションイラストはhttps://d223302.github.io/SHANKS/にある。

関連論文リスト

• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• STITCH: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models [131.90117151306993]
  音声言語モデル(SLM)は、音声入力を受信し、音声応答を生成するように設計されている。 現在のSLMは、応答する前に、内部的に無意味な思考プロセスを実行する能力が欠けている。 未知の推論チャンクと音声応答チャンクを交互に生成する新しい手法であるStitchを提案する。
  論文  参考訳（メタデータ） (2025-07-21T08:30:03Z)
• Interactive Reasoning: Visualizing and Controlling Chain-of-Thought Reasoning in Large Language Models [54.85405423240165]
  トピックの階層構造としてチェーンオブ思考出力を可視化するインタラクション設計であるInteractive Reasoningを導入する。 私たちは、不確実なトレードオフに直面したAIによる意思決定のプロトタイプであるHippoで、インタラクティブな推論を実装しています。
  論文  参考訳（メタデータ） (2025-06-30T10:00:43Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Turn-Taking Prediction for Natural Conversational Speech [40.189938418201656]
  一般的な会話的発話は、ターンテイクを伴う複数のクエリを含むことが多い。 障害としては、思考の一時停止、ためらうこと、単語の延長、ポーズの充満、繰り返し句などがある。 本稿では,エンド・ツー・エンド(E2E)音声認識器上に構築されたターンテイク予測器を提案する。
  論文  参考訳（メタデータ） (2022-08-29T01:09:23Z)
• Improved Goal Oriented Dialogue via Utterance Generation and Look Ahead [5.062869359266078]
  ディープテキスト・トゥ・テキスト・ニューラルモデルをトレーニングし、ラベルなし対話データから連続したユーザ発話を生成することにより、インテント予測を改善することができる。 本稿では,ユーザの発話生成を用いて意図予測を時間内に改善する新しいルックアヘッド手法を提案する。
  論文  参考訳（メタデータ） (2021-10-24T11:12:48Z)
• "Wait, I'm Still Talking!" Predicting the Dialogue Interaction Behavior Using Imagine-Then-Arbitrate Model [24.560203199376478]
  実際の人間と人間の会話では、1ターンで長いメッセージではなく、可読性のためのいくつかの短いメッセージが順次送信されることが多い。 本稿では,エージェントが待機するか,直接応答するかを決定するのに役立つ,新しいImagine-then-Arbitrate(ITA)ニューラルダイアログモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-22T04:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。