論文の概要: Omni-JEV: Text and Dual-Stream Speech Decisions
- arxiv url: http://arxiv.org/abs/2611.13777v2
- Date: Wed, 11 Nov 2026 03:20:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.908858
- Title: Omni-JEV: Text and Dual-Stream Speech Decisions
- Title(参考訳): Omni-JEV: テキストとデュアルストリームの音声決定
- Abstract要約: テキストやロールインデクシングされたユーザアシスタント参照音声の確率を5つのインタラクションアクションにマップする。
アライメントされた音声から音声への理解バックボーンの音響的役割は、その候補読み出しとテキスト入力とを別々に共有する。
バイリンガル弱監督は、確率感受性決定のためのクロスエントロピー微調整と強化学習をサポートする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A user utterance does not uniquely determine the next action in full-duplex dialogue: its consequences depend on the assistant's response state and interaction history. Speech activity, utterance completion, and interruption intent provide related evidence, whose implications for a response require an explicit action policy. We formulate this task at collected-segment endpoints and introduce Omni-JEV, which maps text or role-indexed user and assistant-reference speech to probabilities over five interaction actions. An aligned speech-to-speech understanding backbone encodes the acoustic roles separately and shares its candidate readout with text inputs. Bilingual weak supervision supports cross-entropy fine-tuning followed by reinforcement learning for probability-sensitive decisions (RLCD). We compare Gaussian-logit and categorical Choice RLCD from the same supervised initialization under matched training exposure, observing different trade-offs between classification and probability quality. Gaussian Omni-JEV achieves test accuracies of 84.08% for audio and 96.55% for text. This common action interface supports decisions about when a full-duplex voice assistant should respond, preserve ongoing speech, interrupt, or resume an interrupted response.
- Abstract(参考訳): ユーザ発話は、全二重対話における次のアクションを一意に決定しない:その結果がアシスタントの応答状態とインタラクション履歴に依存する。
音声活動、発声完了、中断意図は関連する証拠を提供し、その反応に影響を及ぼすには明確な行動方針が必要である。
我々は、このタスクを収集されたエンドポイントで定式化し、テキストまたはロールインデックス付きユーザおよびアシスタント参照音声を5つのインタラクションアクション以上の確率にマッピングするOmni-JEVを導入する。
アライメントされた音声から音声への理解バックボーンは、音響的役割を個別に符号化し、その候補読み出しをテキスト入力と共有する。
バイリンガルの弱い監督は、クロスエントロピー微調整をサポートし、次に確率感受性決定(RLCD)のための強化学習を行う。
一致したトレーニング露光下で,同じ教師付き初期化からガウス・ロジットとカテゴリー選択式RCCDを比較し,分類と確率品質の異なるトレードオフを観察した。
ガウシアン・オムニ-JEVは、音声の84.08%、テキストの96.55%の精度を達成した。
この一般的なアクションインターフェースは、フル二重音声アシスタントがいつ応答するか、進行中の音声を保存し、中断し、中断された応答を再開するかという決定をサポートする。
関連論文リスト
- A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations [17.048567633179037]
本稿では,リレーショナルイベントリストから意図抽出2チャンネル会話音声を合成するためのパイプラインを提案する。
イベントは独立して合成され、ソーステキストと一致し、共有クロック上に置かれ、ターンテイキングランドマークが測定される。
パイプラインは英語とマンダリンの8つの家族の42をカバーしている。
論文 参考訳(メタデータ) (2026-09-23T21:38:54Z) - UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。
音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。
本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
論文 参考訳(メタデータ) (2026-04-21T08:24:55Z) - ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models [49.18708573170585]
経験的な評価は、ASPIRinがターンテイキング、バックチャネル、一時停止処理をまたいで対話性を最適化していることを示している。
ASPIRin degrade turn to say when when when to fall when. ASPIRin degrade turn to say when when to say。
論文 参考訳(メタデータ) (2026-04-11T07:07:08Z) - CleanS2S: Single-file Framework for Proactive Speech-to-Speech Interaction [2.854461601795248]
CleanS2Sは、会話型AIの単一ファイル実装とプロアクティブ対話機能を進化させる、ヒューマンライクな音声インタラクションフレームワークである。
本システムは,音声認識言語モデルとテキスト音声合成を,リアルタイムな中断を伴う統合パイプラインに統合する。
論文 参考訳(メタデータ) (2025-06-02T02:40:46Z) - Learning Speech Representation From Contrastive Token-Acoustic
Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文 参考訳(メタデータ) (2023-09-01T12:35:43Z) - token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired
Speech and Text [65.04385919645395]
token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。
実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
論文 参考訳(メタデータ) (2022-10-30T06:38:19Z) - Question-Interlocutor Scope Realized Graph Modeling over Key Utterances
for Dialogue Reading Comprehension [61.55950233402972]
本稿では,対話読解のためのキーワード抽出手法を提案する。
複数の連続した発話によって形成された単位に対して予測を行い、より多くの回答を含む発話を実現する。
発話のテキスト上に構築されたグラフとして,質問-対話者スコープ実現グラフ(QuISG)モデルを提案する。
論文 参考訳(メタデータ) (2022-10-26T04:00:42Z) - Turn-Taking Prediction for Natural Conversational Speech [40.189938418201656]
一般的な会話的発話は、ターンテイクを伴う複数のクエリを含むことが多い。
障害としては、思考の一時停止、ためらうこと、単語の延長、ポーズの充満、繰り返し句などがある。
本稿では,エンド・ツー・エンド(E2E)音声認識器上に構築されたターンテイク予測器を提案する。
論文 参考訳(メタデータ) (2022-08-29T01:09:23Z) - VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised
Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。
コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。
実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
論文 参考訳(メタデータ) (2021-06-18T13:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。