論文の概要: Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering

• arxiv url: http://arxiv.org/abs/2606.11386v1
• Date: Tue, 09 Jun 2026 19:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.153524
• Title: Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering
• Title（参考訳）: アクティベーションステアリングによる全二重音声言語モデルにおける状態慣性克服
• Authors: Cheng-Kuang Chang, Kai-Wei Chang, Alexander H. Liu, James Glass,
• Abstract要約: フル音声言語モデル(FDSLM)における予測行動の解析 FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。 ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
• 参考スコア（独自算出の注目度）: 87.43777061308658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full-duplex spoken language models (FD-SLMs) enable seamless speech interaction by allowing models to listen and speak simultaneously, yet the internal mechanism by which they coordinate listening and speaking remains underexplored. We analyze the predictive behavior encoded in FD-SLM hidden representations and find that they exhibit stream-specific predictive patterns: during listening, they preferentially predict the incoming user stream, whereas during speaking, they preferentially predict the model output stream. Building on this observation, we show that FD-SLMs dynamically modulate their internal predictive focus between two states: a generative state aligned with model output generation and a perceptive state aligned with incoming user input. However, this modulation can lag behind abrupt changes in conversational context. During user interruptions, the model remains transiently biased toward the generative state before transitioning into the perceptive state, causing it to miss the beginning of the incoming input. We term this delayed internal transition state inertia. To quantify its downstream impact, we introduce the Zero-Buffer Benchmark (ZBB), a diagnostic benchmark for evaluating immediate interruption comprehension when user speech begins abruptly. We evaluate this setting using response correctness and initial-word occurrence rate (IWOR). Finally, we mitigate state inertia through activation steering with a perception vector, a training-free intervention with little additional computational overhead. Across multiple state-of-the-art FD-SLMs, activation steering substantially improves interruption handling; for example, on PersonaPlex, it improves correctness from 28% to 45% and IWOR from 40% to 72% without any fine-tuning.
• Abstract（参考訳）: フルダブルプレックス音声言語モデル(FD-SLM)は、モデルを同時に聴いたり、話したりすることで、シームレスな音声対話を可能にする。 本研究では,FD-SLM隠れ表現に符号化された予測動作を分析し,ストリーム固有の予測パターンを示す。聴取中はユーザのストリームを優先的に予測するが,発話中はモデル出力ストリームを優先的に予測する。 この結果から,FD-SLMはモデル出力生成に整合した生成状態と,入力したユーザ入力に整合した知覚状態の2つの状態の間で,内部予測の焦点を動的に変調することを示した。 しかし、この変調は会話の文脈の急激な変化を遅らせる可能性がある。 ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を見逃してしまう。 我々は、この遅延した内部遷移状態慣性と呼ぶ。 ダウンストリームの影響を定量化するために,ユーザの発話が突然開始したときの即時中断理解を評価するための診断ベンチマークであるZBB(Zero-Buffer Benchmark)を導入する。 応答の正しさと初期単語発生率(IWOR)を用いて,この設定を評価する。 最後に,アクティベーションステアリングと知覚ベクトルによる状態慣性を軽減する。 複数の最先端のFD-SLMにおいて、アクティベーションステアリングは割り込み処理を大幅に改善し、例えばペルソナプレックスでは28%から45%、IWORは40%から72%に改善する。

関連論文リスト

• ProactiveLLM: Learning Active Interaction for Streaming Large Language Models [19.8873622850537]
  本稿では,モデル内在状態を利用して対話決定を導くことにより,アクティブなインタラクションを実現するProactiveLLMを提案する。 ProactiveLLMは、動的かつアクティブなインタラクションのキャパシティを検証しながら、品質を維持しながら、インタラクションのレイテンシを著しく低減します。
  論文  参考訳（メタデータ） (2026-05-30T04:31:29Z)
• Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models [3.5946669116828134]
  完全な音声対話モデルは、ターンベースシステムよりも人間の会話に近い声を同時に話すことができる。 本研究では,人間のコミュニケーションにおいて,ニューラルカップリングを用いた内部相互作用を協調するモデルを提案する。 雑音のない条件下では強い表現同期が得られ、ラグはゼロに近づき、ノイズは劣化する。
  論文  参考訳（メタデータ） (2026-05-19T18:11:03Z)
• Bi-Predictability: A Real-Time Signal for Monitoring LLM Interaction Integrity [0.0]
  両予測可能性(P)を用いて,マルチターンインタラクションの整合性を継続的に監視できることが示される。 Information Digital Twin (IDT) は、コンテキスト、応答、次のプロンプトループを二次推論や埋め込みなしでPを推定する軽量アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-18T18:10:37Z)
• Coherence in the brain unfolds across separable temporal regimes [1.3874648807526748]
  言語におけるコヒーレンスには、脳が競合する2つの時間的要求を満たす必要がある。 我々は、コヒーレンスを、文脈統合の遅い解離可能なニューラルレシエーションと、イベント駆動の迅速な再構成によって実現していることを示す。
  論文  参考訳（メタデータ） (2025-12-23T16:16:42Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• Entropy-based Coarse and Compressed Semantic Speech Representation Learning [72.18542411704347]
  圧縮された意味表現を学習するためのエントロピーに基づく動的集約フレームワークを提案する。 ASR、音声からテキストへの変換、音声変換タスクの実験は、圧縮された表現が密度の高いトークンシーケンスと同等以上のパフォーマンスを示すことを示した。
  論文  参考訳（メタデータ） (2025-08-30T13:50:58Z)
• ARIG: Autoregressive Interactive Head Generation for Real-time Conversations [15.886402427095515]
  対面コミュニケーションは、共通の人間の活動として、インタラクティブなヘッドジェネレーションの研究を動機付けている。 従来のクリップワイズ生成パラダイムや明示的なリスナー/スピーカジェネレータスイッチング手法は,将来的な信号取得に限界がある。 本稿では,AR(autoregressive,自己回帰的,自己回帰的,自己回帰的,自己回帰的)に基づくフレームワークARIGを提案する。
  論文  参考訳（メタデータ） (2025-07-01T06:38:14Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。