論文の概要: ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language Models

• arxiv url: http://arxiv.org/abs/2606.10581v1
• Date: Tue, 09 Jun 2026 08:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.397601
• Title: ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language Models
• Title（参考訳）: ParaBridge: 言語モデルにおける包括的パラ言語知覚と対話行動
• Authors: Yuxiang Wang, Qinke Ni, Shengbo Cai, Wan Lin, Liqiang Zhang, Zhizheng Wu,
• Abstract要約: ParaBridgeは不安定な推論時間の足場を安定したモデル動作に変換する。 パラ言語学的な手がかりを目にせず、安全指向のトレーニングから共感指向の対話へと移行し、異なるSLMバックボーンで作業する。
• 参考スコア（独自算出の注目度）: 19.043973162938038
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Speech carries more information than just words: a child's voice, a fearful tone, or a noisy background should all lead a sufficiently competent spoken-dialogue assistant to different replies. Current Speech Language Models (SLMs) can recognize such paralinguistic cues but often ignore them in open-ended dialogue. We observe that a simple paralinguistic instruction scaffold at the inference stage narrows this perception-behavior gap, suggesting that the relevant cues are already latent in the model. Such scaffolds, however, remain brittle under multi-turn context and competing instructions. Therefore, we propose \textbf{ParaBridge}, an on-policy self-distillation method that turns a brittle inference-time scaffold into stable model behavior. During training, the scaffold serves only as a temporary privileged view; the scaffold-free model rolls out its own response, while the scaffolded view supplies dense, full-vocabulary next-token targets along its trajectory. This supervision teaches when non-lexical cues should affect the reply without the need for curated dialogues, human labels, or external reward models. On Qwen3-Omni-thinking, ParaBridge raises scaffold-free VoxSafeBench SAR from $14.6\%$ to $40.3\%$ and improves EchoMind average rating from $3.27$ to $3.92$. It also preserves general ability, with MMAU-Pro, VoiceBench, and GPQA all within $0.4$ points of the original model. Beyond the training distribution, ParaBridge generalizes to unseen paralinguistic cues, transfers from safety-oriented training to empathy-oriented dialogue, and works on a different SLM backbone.
• Abstract（参考訳）: 音声は単に言葉以上の情報を持っている:子供の声、恐怖のトーン、騒々しい背景はすべて、十分な能力を持つ音声対話アシスタントを異なる応答に導くべきである。 現在の音声言語モデル(SLM)は、そのようなパラ言語的手がかりを認識できるが、オープンな対話では無視されることが多い。 推論段階における単純なパラ言語的指導足場は、この知覚と行動のギャップを狭め、関連する手がかりが既にモデルに潜んでいることを示唆する。 しかし、このような足場は、マルチターンコンテキストと競合する命令の下でも不安定なままである。 そこで本稿では, 不安定な推論時の足場を安定なモデル行動に変換する, オンライン自己蒸留法である \textbf{ParaBridge} を提案する。 足場のないモデルは、自身の反応をロールアウトし、足場のあるビューは、その軌道に沿って、密集したフルボキャブラリの次の目標を供給します。 この監督は、非語彙的な手がかりが、キュレートされた対話、ヒューマンラベル、または外部報酬モデルを必要としない応答に影響を及ぼすかどうかを教える。 Qwen3-Omniの考えでは、ParaBridgeは足場のないVoxSafeBench SARを14.6.%から40.3.%に引き上げ、EchoMindの平均格付けを3.27ドルから3.92ドルに改善した。 また、MMAU-Pro、VoiceBench、GPQAは全てオリジナルのモデルの0.4$ポイントの範囲で一般的な能力を保っている。 トレーニングディストリビューションの他に、ParaBridgeは、非言語的な手がかりを一般化し、安全指向のトレーニングから共感指向の対話へと移行し、異なるSLMバックボーンで作業する。

関連論文リスト

• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• DiscussLLM: Teaching Large Language Models When to Speak [9.441455921296301]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成において顕著な能力を示した。 トレーニングモデルによってこのギャップを埋めるために設計されたフレームワークである$textitDiscussLLM$を紹介します。
  論文  参考訳（メタデータ） (2025-08-25T16:16:42Z)
• WavReward: Spoken Dialogue Models With Generalist Reward Evaluators [79.57183115807835]
  WavRewardは、音声入力による音声対話システムのIQとEQを評価することができる報酬フィードバックモデルである。 ChatReward-30Kは、WavRewardのトレーニングに使用される好みのデータセットである。 WavRewardは、複数の音声対話シナリオで過去の最先端評価モデルより優れている。
  論文  参考訳（メタデータ） (2025-05-14T16:54:15Z)
• Re$^3$Dial: Retrieve, Reorganize and Rescale Dialogue Corpus for Long-Turn Open-Domain Dialogue Pre-training [90.3412708846419]
  既存の事前学習コーパスのほとんどの対話は、3回未満の対話を含む。 数十億ドル規模のロングターン対話を自動的に構築するRetrieve, Reorganize, Rescale framework (Re$3$Dial)を提案する。 上記のプロセスを繰り返すことで、Re$3$Dialはコヒーレントなロングターン対話をもたらすことができる。
  論文  参考訳（メタデータ） (2023-05-04T07:28:23Z)
• Prompting for a conversation: How to control a dialog model? [9.268682116424518]
  ダイアログモデルは大量のテキストでトレーニングされるが、その応答はダイアログエージェントの望ましいスコープとスタイルに制限される必要がある。 前者を達成するために使用されるデータセットには後者と互換性のない言語が含まれているため、事前訓練されたダイアログモデルは、より小さなキュレートされたデータセットで微調整される。 本稿では,上記のトレードオフを緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-09-22T14:59:55Z)
• Learning-by-Narrating: Narrative Pre-Training for Zero-Shot Dialogue Comprehension [48.483910831143724]
  対話を補完するには、発話中の様々なキー情報をキャプチャするモデルが必要である。 そこで我々は,対話入力からキー情報をナレーションすることで学習する,物語誘導型事前学習戦略を開発した。
  論文  参考訳（メタデータ） (2022-03-19T05:20:25Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness [62.55060760615656]
  一貫性に対処する最近のモデルは、しばしば追加の自然言語推論(NLI)ラベルでトレーニングするか、あるいは一貫性を維持するためにトレーニングされた追加モジュールを生成エージェントにアタッチする。 社会的認知と実用性に触発されて、私たちは既存の対話エージェントに、想像上のリスナーを通して、公的な自己意識を持たせました。 我々のアプローチは、Rational Speech Actsフレームワークに基づいて、会話エージェントに矛盾の発声を控えるように強制することができる。
  論文  参考訳（メタデータ） (2020-04-13T08:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。