論文の概要: Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models

• arxiv url: http://arxiv.org/abs/2610.20763v1
• Date: Wed, 14 Oct 2026 18:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.008982
• Title: Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models
• Title（参考訳）: 全二重音声言語モデルに対する参照ガイド付きターンタイキングスタイル転送
• Abstract要約: 単層残差ストリーム方向イニシアティブベクトルを同定する。 モデルはトレーニングやアノテーションなしで、モデル自身の会話から抽出される。 同じ方向が800ms前後に設定され、シフトする。
• 参考スコア（独自算出の注目度）: 12.029635853887866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-duplex spoken language models decide at every frame whether to take the floor, defining a conversational personality -- yet each set of weights encodes exactly one, which human speakers bracket rather than share. Existing controls mostly act from outside; none identifies the quantity that sets how much the model speaks. We identify it: a single late-layer residual-stream direction, the initiative vector, extracted from the model's own conversations without training or annotation. The same direction reads the decision, anticipating onsets up to 800 ms ahead, and shifts it: scaled during generation, it moves speech ratio from 6-12% to 42-61% (no steering: 21-30%), consistently across conversations, weights, and corpora. A short reference recording suffices to transfer a speaker's turn-taking style to the model, and the transfer is reference-specific: swapping in another speaker's reference worsens the match in 93-98% of cases, whereas the best uniform dose is indistinguishable from no steering. Turn-taking style is not frozen into the weights but a direction that can be read, shifted, and calibrated per person. Audio examples are available at https://elpsykongloo.github.io/initiative-vector/.
• Abstract（参考訳）: フル二重言語モデルは、すべてのフレームでフロアを取るかどうかを決定し、会話の性格を定義します。 既存のコントロールは、主に外部から動作します。 トレーニングやアノテーションなしでモデル自身の会話から抽出した,単一の遅延層残差ストリーム方向,イニシアティブベクトルを同定する。 同じ方向が決定を読み、最大800msの開始を予測し、それをシフトする:世代毎にスケールし、音声比を6-12%から42-61%(ステアリングなし:21-30%)に、会話、ウェイト、コーポラを一貫して移動させる。 短い参照記録は、話者のターンテイクスタイルをモデルに転送するのに十分であり、転送は参照専用であり、他の話者の参照を切り替えると93～98%のケースで試合が悪化する。 ターンテイクのスタイルは重量に凍ってはいないが、読み、シフト、調整できる方向は人当たりだ。 オーディオサンプルはhttps://elpsykongloo.github.io/initiative-vector/で公開されている。

関連論文リスト

• Coupled but Late: Turn-Taking Between Full-Duplex Speech Models in Unscripted Dialogue [11.150781169320375]
  ループでは、人間はタイミングエラーを吸収しない:各モデルのターンテイクはその入力である。 会話を通してスピーカーを再ペアリングすることは、それを破壊します。 しかし、床は人間に対して平均で400～560msの速度で手を変え、最後の120msのケースでは人間の投射が1%を占める。
  論文  参考訳（メタデータ） (2026-10-06T17:03:54Z)
• Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue [30.587755818246052]
  音声対話モデルは音声を無声で生成し、音声のみから音声を合成する。 我々は,手,上半身,下半身の動作とともに,音声対話モデルによって明示的な表情を出力する,エンドツーエンドのフレームワークであるMotion-Omniを提案する。 我々はさらにSwwenDA-500をリリースし、我々の知る限り、オープンエンドフルボディ音声対話のための最初の公開評価プロトコルについて述べる。
  論文  参考訳（メタデータ） (2026-08-28T21:02:39Z)
• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• Freetalker: Controllable Speech and Text-Driven Gesture Generation Based on Diffusion Models for Enhanced Speaker Naturalness [45.90256126021112]
  我々は、自然発生(例えば、共音声ジェスチャー)と非自然発生(例えば、表彰台を動き回る)の両方を生成するための最初のフレームワークであるFreeTalkerを紹介する。 具体的には、音声によるジェスチャーとテキストによる動作の統一表現を用いた話者動作生成のための拡散モデルについて訓練する。
  論文  参考訳（メタデータ） (2024-01-07T13:01:29Z)
• Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [53.72998363956454]
  個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。 高品質な話者並列データの不足は、翻訳中にスタイル転送を学習する上での課題となる。 我々は、個別の自己教師付き音声表現と音色単位に基づいて、スタイル変換機能を備えたS2STパイプラインを設計する。
  論文  参考訳（メタデータ） (2023-09-14T09:52:08Z)
• Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding [3.2116198597240846]
  本稿では,韻律的特徴とテキストによって駆動されるジェスチャーを異なる話者のスタイルで合成する,効率的かつ効果的な機械学習手法を提案する。 本モデルは,様々な話者のビデオを含むPATSデータベースからのマルチモーダルデータによって駆動されるゼロショットマルチモーダル方式の転送を行う。
  論文  参考訳（メタデータ） (2022-08-03T08:49:55Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。