論文の概要: Integrate the Reward, Don't Sample It: Window Likelihood for Interruptions and Backchannels in Full-Duplex Speech Models

• arxiv url: http://arxiv.org/abs/2610.35581v1
• Date: Mon, 26 Oct 2026 15:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.04789
• Title: Integrate the Reward, Don't Sample It: Window Likelihood for Interruptions and Backchannels in Full-Duplex Speech Models
• Title（参考訳）: 逆流の統合化, サンプル化しない: 完全二重音声モデルにおける割り込みとバックチャネルのためのウィンドウ様相
• Abstract要約: 4つのオープンモデルでロールアウトフォームをテストし、2つの失敗を見つけます。 バイナリウィンドウの報酬は、ほとんどの場合学習を必要とするウィンドウにゼロの利点を与える。 我々は、Emphwindow chance (WL)を提案する。 HumDial-FDBench では、WL はポストトレイン後の6つの構造的に異なるオープンモデルすべてに対して最高の収率/ホールド F1 を与える。
• 参考スコア（独自算出の注目度）: 41.53725138794531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A full-duplex spoken dialogue model must yield when the user cuts in and hold when the user merely backchannels. Sequence-level RL with a timing reward (GRPO) is the usual recipe; we test its whole-rollout form on four open models and find two failures. A binary window reward gives zero advantage on exactly the windows that most need learning (a zero-gradient trap), and the one score per rollout is spread over listening-state decisions the reward is not written in terms of (credit leakage), so the model talks into silence or stops answering. Both come from sampling a reward that is a known function of a few binary control decisions. We propose \emph{window likelihood} (\WL): sample a continuation per window, but integrate in closed form over the stop decisions it visits and maximise the log-probability of acting correctly---a noisy-OR for yielding, a survival product for holding. On HumDial-FDBench, \WL\ gives the best yield/hold F1 on all six structurally different open models we post-train, exceeds Kyutai's released GRPO checkpoints (trained on different data), and adds no re-opening of the floor on any model.
• Abstract（参考訳）: フル二重音声対話モデルは、ユーザが切り込み、ユーザが単にバックチャネルを閉じた時に発生する必要がある。 タイミング報酬(GRPO)を持つシーケンスレベルのRLは,通常のレシピである。4つのオープンモデル上で全ロールアウト形式をテストし,2つの失敗を見つける。 バイナリウィンドウの報酬は、最も学習が必要なウィンドウ(ゼロ段階のトラップ)にゼロのアドバンテージを与え、ロールアウト毎のスコアはリスニング状態の決定によって広まる。 どちらも、いくつかのバイナリ制御決定の既知の機能である報酬をサンプリングすることに由来する。 ウィンドウごとの継続をサンプリングするが、訪問する停止決定に対して閉じた形で統合し、正しい動作の対数確率を最大化する。 HumDial-FDBench では、'WL\ は、私たちがポストトレインした6つの構造的に異なるオープンモデルで最高の利得/ホールドF1を与え、久泰がリリースしたGRPOチェックポイント(異なるデータでトレーニング)を超え、どのモデルでもフロアの再オープンを追加しない。

関連論文リスト

• Why Full-Duplex Speech Models Collapse in Long Conversations [48.48928768694961]
  完全な音声モデルは、聞いている間もフレームごとにトークンを生成し、数分でコンテキストウィンドウを消します。 しかし、長軸長軸問題の短さを露呈するラウンドは1回か数回のみである。 本稿では,FD-LHB(Full-Duplex Long Horizon Benchmark)を紹介する。
  論文  参考訳（メタデータ） (2026-10-23T08:43:45Z)
• Unconstrained CTI-REALM with Open-Weights [8.150475950851359]
  オープンウェイトモデルは、最強のクローズドモデルと10分の1以下のコストで一致させることができる。 ベンチマークが公開しているエージェントメッセージの制限は、相反するものだ。 同様の報酬を持つモデルは、1桁以上のコストで異なる。
  論文  参考訳（メタデータ） (2026-10-09T18:00:33Z)
• SteerablePlex: Can We Steer Full-Duplex Models? [26.32680798529446]
  完全な音声モデルは、自然な相互作用を可能にすると同時に耳を傾けることができるが、所定のシナリオから逸脱し、信頼性の低い評価結果が得られる。 我々は、既存のオープンソースモデルやGPT-Realtimeよりも確実にマルチステージ制約に従う、より制御可能なフルステージユーザーシミュレータを構築します。
  論文  参考訳（メタデータ） (2026-10-08T15:56:28Z)
• OpenJev-RLCD: A Working RLCD Implementation [23.324155376717105]
  本稿では、推論モデルのための校正決定(RLCD)のための強化学習の動作実装について述べる。 ばらつきのアイデンティティは、いくつかのサンプルの混合物のスコアリングが合理性に反し、RLVRはその多様性の項なしで、まさにこの混合目的であることを示している。 GSM8Kの回答検証では、単一のクエリがアイテムのgvTwoCovFive%を$le$5%エラーで、gvGrpoCovFive%がGRPOで決定する。
  論文  参考訳（メタデータ） (2026-09-30T03:08:45Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Think Twice: Branch-and-Rethink Reasoning Reward Model [32.70732791642558]
  本稿では,2ターンのRMであるブランチ・アンド・リコンプリート(BR-RM)について紹介する。 我々は、厳密なフォーマットチェックによる単純なバイナリ結果報酬を用いて、構造化された2ターントレース上でGRPOスタイルの強化学習を訓練する。 All-at-oncescoringinto focus, second-lookreasoning を変換することにより、BR-RMreducesjudgmentdiffusionand は微妙で連続的な誤りに対する感受性を高める。
  論文  参考訳（メタデータ） (2025-10-27T17:58:07Z)
• Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems [82.70507055599093]
  本稿では,Duplex SDS のための Streaming Chain-of-Thought (CoT) フレームワークを提案する。 ブロック毎に中間的ターゲットアライメントされたユーザ書き起こしとシステム応答を作成します。 実験により,本手法は既存の二重解法よりもコヒーレントで解釈可能な応答を生成することが示された。
  論文  参考訳（メタデータ） (2025-10-02T14:33:05Z)
• R1-Zero's "Aha Moment" in Visual Reasoning on a 2B Non-SFT Model [70.77691645678804]
  非SFT 2Bモデルのみを用いたマルチモーダル推論における創発的特性の再現に成功した最初の例を示す。 本モデルはCVBenchで59.47%の精度を達成し, ベースモデルを約30%, SFT設定を2%以上上回った。 さらに,RLとインストラクションモデルを用いてR1のような推論を行おうとする試みの失敗と知見を共有した。
  論文  参考訳（メタデータ） (2025-03-07T04:21:47Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。