論文の概要: SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.26432v1
• Date: Wed, 26 Aug 2026 22:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.19499
• Title: SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning
• Title（参考訳）: SpeechGym: 強化学習による音声エージェントの訓練のための音声Native Gym
• Abstract要約: SpeechGymは、2つのOmniモードモデルがネイティブオーディオで会話する、オーディオネイティブなエージェント環境である。 本稿では、2つのOmniモードモデルがネイティブオーディオで会話する音声ネイティブなエージェント環境であるSpeechGymを紹介する。
• 参考スコア（独自算出の注目度）: 24.07999549415095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Voice agents must call tools and hold multi-turn dialogue entirely through speech, yet the dominant paradigm trains them in text. Existing frameworks either cascade TTS and ASR around a proprietary voice API, where gradients cannot flow and per-call cost makes on-policy reinforcement learning prohibitive, or stay in text: they measure voice agents but cannot improve them. We present SpeechGym, an audio-native agentic environment in which two omni-modal models converse in native audio, with no external ASR or TTS and no API boundary, over the unmodified tasks, tools and success check of an established text agentic benchmark, so that the interaction modality is the only variable and the loop stays local and trainable end to end. Audio agentic capability does not follow from audio understanding. The failures speech introduces are perceptual rather than reasoning deficits: the agent picks the right tool and the right argument slot but fills it with a value misheard from the waveform, and that single error cascades into a failed call, a retry of the same call, and a wasted step budget. A second failure is behavioural: under an insistent caller the agent performs an unauthorised write and ends the episode believing it helped. Both are trainable, because the environment labels them for free: a call with a misheard argument fails against the database while a correct one succeeds. The obstacle is sparsity, not signal. Outcome-only GRPO is gradient-starved here, since almost every rollout group fails identically, while a per-turn process reward crediting each successful tool call restores variance to nearly every group. Trained this way, the agent transfers with no further tuning to an independently implemented voice benchmark, more than doubling task success and carrying an open-weights model from last place to second on that leaderboard, while using fewer turns and tokens than before training.
• Abstract（参考訳）: ボイスエージェントはツールを呼び出し、音声を通してマルチターン対話を行う必要があるが、支配的なパラダイムはそれらをテキストで訓練する。 既存のフレームワークでは、TTSとASRを独自のボイスAPIの周囲に配置しているため、グラデーションはフローできないし、呼び出し毎のコストもかからないため、政治上の強化学習は禁じられている。 SpeechGymは、2つのOmni-Modalモデルがネイティブオーディオで会話し、外部のASRやTSやAPI境界がなく、未修正のタスク、ツール、確立されたテキストエージェントベンチマークの成功チェックをしない音声ネイティブなエージェント環境であり、インタラクションのモダリティが唯一の変数であり、ループがローカルでトレーニング可能な終端に留まるようにしている。 音声エージェント能力は、音声理解に従わない。 エージェントは正しいツールと正しい引数スロットを選択するが、波形から誤聴された値でそれを埋め、単一のエラーカスケードは失敗した呼び出し、同じ呼び出しの再試行、無駄なステップ予算に分解する。 第二の失敗は行動的であり、強制的な呼び出しの下でエージェントは許可されていない書き込みを実行し、それが助けたと信じたエピソードを終了する。 両方がトレーニング可能であるのは、環境がそれらを無償でラベル付けしているからである。誤った引数を持つ呼び出しはデータベースに対して失敗し、正しい呼び出しが成功する。 障害物は広く、信号ではありません。 アウトカムのみのGRPOは、ほとんどすべてのロールアウトグループが同じ障害を犯し、ターン毎のプロセス報酬が各成功したツールコールを信用しているため、ほぼすべてのグループに分散が回復する。 この方法でトレーニングされたエージェントは、個別に実装された音声ベンチマークにこれ以上チューニングせずに移行し、タスクの成功を倍増し、前回から2回目までのオープンウェイトモデルを実行し、トレーニング前よりもターンとトークンを少なくする。

関連論文リスト

• AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach [15.617770133323077]
  Agentic Speech Recognition (AgenticASR) は、音声からクリーンテキストのタスクである。 障害を取り除き、自己補正を解決し、書式を正規化する。 AgenticASRは評価システムの中でAASR-Benchスコアが最も高い。
  論文  参考訳（メタデータ） (2026-07-30T13:12:25Z)
• VAmoS Bench: Voice Agent Simulation Bench [8.26112859764927]
  VAmoS Benchは、ステートフルなカスタマーサポートタスクにおいて、完全な音声エージェントシステムをエンドツーエンドで測定する。 それぞれのシナリオは、プライベートな目標とシードされたバックエンドを備えたシミュレートされた呼び出し元を提供する。 プラットフォームは、各シナリオを使用して、通話者が音声を介してライリーに到達する独立したシミュレーションを起動する。
  論文  参考訳（メタデータ） (2026-07-29T20:42:38Z)
• UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
  音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。 音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。 本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:24:55Z)
• Fun-Audio-Chat Technical Report [71.07966678560291]
  音声トークン(25Hz)とテキストトークン(3Hz)の間の時間分解能は意味情報のミスマッチを緩和し、高い計算コストを発生させる。 本稿では,大規模な音声合成タスクであるFun-Audio-Chatを紹介する。 Fun-Audio-Chat 8BとMoE 30BA3Bは、SpeechTextとSpeech-to-scaleタスクの競合性能を達成する。
  論文  参考訳（メタデータ） (2025-12-23T08:35:27Z)
• Cloning a Conversational Voice AI Agent from Call\,Recording Datasets for Telesales [0.0]
  通話記録のコーパスから会話音声AIエージェントをクローンする手法を提案する。 我々のシステムは電話で顧客に耳を傾け、合成音声で応答し、トップパフォーマンスの人間エージェントから学んだ構造化されたプレイブックに従う。 本発明のクローン化剤は、導入、製品コミュニケーション、販売ドライブ、異物処理、閉店を含む22の基準で、人為的エージェントに対して評価される。
  論文  参考訳（メタデータ） (2025-09-05T07:36:12Z)
• Distilling an End-to-End Voice Assistant Without Instruction Training Data [53.524071162124464]
  Distilled Voice Assistant (DiVA)は、質問応答、分類、翻訳を一般化する。 Qwen 2 Audioのような最先端のモデルと比較すると,DiVAはユーザの好みによく適合し,72%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-10-03T17:04:48Z)
• Multi-modal Adversarial Training for Zero-Shot Voice Cloning [9.823246184635103]
  実音声特徴と生成音声特徴を条件付きで識別するトランスフォーマーエンコーダデコーダアーキテクチャを提案する。 我々は、FastSpeech2音響モデルに適用し、大規模マルチスピーカーデータセットであるLibriheavyのトレーニングを行うことにより、新しい対角訓練手法を導入する。 本モデルは,音声品質と話者類似度の観点から,ベースラインに対する改善を実現する。
  論文  参考訳（メタデータ） (2024-08-28T16:30:41Z)
• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  本稿では,ペア音声とテキストコーパスを使わずにASRシステムを開発するという課題に取り組む。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。 この革新的なモデルは、レキシコンフリー環境下での以前の教師なしASRモデルの性能を上回る。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR [54.64158282822995]
  教師なしASRにおける反復訓練を用いたREBORN, Reinforcement-Learned boundaryを提案する。 ReBORNは、音声信号におけるセグメント構造の境界を予測するセグメンテーションモデルのトレーニングと、セグメンテーションモデルによってセグメント化された音声特徴である音素予測モデルのトレーニングを交互に行い、音素転写を予測する。 我々は、広範囲にわたる実験を行い、同じ条件下で、REBORNは、LibriSpeech、TIMIT、および5つの非英語言語において、以前の教師なしASRモデルよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2024-02-06T13:26:19Z)
• Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
  この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。 教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。 特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
  論文  参考訳（メタデータ） (2022-11-06T04:50:37Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。