論文の概要: Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR

• arxiv url: http://arxiv.org/abs/2610.32572v1
• Date: Fri, 23 Oct 2026 13:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.517723
• Title: Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR
• Title（参考訳）: Pseudo-Labels as Rewards, not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR
• Abstract要約: グループ相対政策最適化の報酬基準として同一の擬似ラベルを使用することで、ノイズをラベル付けすることがより堅牢であることを示す。 銀行業界では、GRPOはWERがWhisperのレーベルでSFTよりも29.3%から56.2%改善している。
• 参考スコア（独自算出の注目度）: 16.43646484722176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting ASR to a domain with only untranscribed audio typically relies on pseudo-labeling, a strong teacher transcribes the audio and a student is fine-tuned on it. Because supervised fine-tuning (SFT) treats every pseudo-label token as a target, the student inherits the teacher's errors. We show that using the same pseudo-labels as a reward reference for Group Relative Policy Optimization (GRPO) is more robust to label noise. In the banking domain, GRPO yields 29.3% to 56.2% relative WER improvements over SFT on Whisper-generated labels, and the advantage holds across four Whisper sizes, four teacher families, three domains and four languages. While SFT reproduces almost 100% of teacher errors verbatim, GRPO passes through only 27%. Rollout statistics explain why, erroneous pseudo-label words rarely appear in on-policy rollouts, so group-relative advantages stay aligned with the clean transcript, whereas SFT forces them into the policy's support and collapses the reward variance GRPO relies on.
• Abstract（参考訳）: 書き起こされていない音声のみのドメインにASRを適応させることは、通常擬似ラベリングに依存し、強い教師がオーディオを書き起こし、学生がそれを微調整する。 教師付き微調整(SFT)は、すべての擬似ラベルトークンをターゲットとして扱うため、学生は教師の誤りを継承する。 グループ相対政策最適化(GRPO)の報酬基準として同一の擬似ラベルを使用することで、ノイズのラベル付けがより堅牢であることを示す。 銀行業界では、GRPOはWhisperが生成したレーベルのSFTに対して29.3%から56.2%の相対的なWER改善をもたらしており、4つのWhisperサイズ、4つの教師ファミリー、3つのドメイン、4つの言語に利点がある。 SFTは教師の誤りの100%を冗長に再現するが、GRPOはわずか27%である。 ロールアウト統計は、誤った偽ラベルの単語が政治上のロールアウトにほとんど現れない理由を説明するため、グループ相対的な優位性はクリーンな転写書に一致しないが、SFTはそれらを政策の支援に強制し、GRPOが依存する報酬分散を崩壊させる。

関連論文リスト

• TTPO: Test-Time Policy Optimization [53.81524570216593]
  テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。 TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
  論文  参考訳（メタデータ） (2026-08-27T17:58:10Z)
• I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization [5.536267204193318]
  グループ相対ポリシー最適化は、ロールアウトグループ内の報酬差から学習するが、サンプリングされた応答が正しくない場合に有用な相対信号を受け取らない。 原始的な自己蒸留は、密集したトークンの監督によってこのギャップを埋めることができますが、トレーニングを通じて適用することで、異なる障害モードを生成します。 I-SDPO (Instance-Level Adaptive Self-Distillation Policy Optimization) を導入する。
  論文  参考訳（メタデータ） (2026-08-13T08:37:24Z)
• When Synthetic Speech Is All You Have: Better Call GRPO [15.624707805080474]
  その結果,強化学習は教師付き微調整よりも,同じ合成音声から抽出されることがわかった。 合成音声が主流となる場合、教師付き微調整よりも強化学習が望ましい。
  論文  参考訳（メタデータ） (2026-07-09T12:34:56Z)
• Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works [19.92945464084119]
  Group Relative Policy Optimization (GRPO) は、検証可能な報酬からの強化学習のための標準アルゴリズムである。 我々は、真の退化率は、常にジェンセンの不等式によるベルヌーイ予想を超えることを証明している。 固定参照符号の利点である$A=2r-1$は、グループ内の少なくとも1つのサンプルが成功する確率を高めて、pass@$G$失敗降下を実行することを示す。
  論文  参考訳（メタデータ） (2026-05-08T12:58:06Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• GeT: Generative Target Structure Debiasing for Domain Adaptation [67.17025068995835]
  ドメイン適応(DA)は、ドメインシフトの下で、完全にラベル付けされたソースからほとんどラベル付けされていない、または完全にラベル付けされていないターゲットに知識を転送することを目的としています。 近年,擬似ラベリングを利用した半教師付き学習(SSL)技術がDAでますます普及している。 本稿では,高品質な擬似ラベルを用いた非バイアス対象埋め込み分布を学習するGeTを提案する。
  論文  参考訳（メタデータ） (2023-08-20T08:52:43Z)
• Rank-Aware Negative Training for Semi-Supervised Text Classification [3.105629960108712]
  半教師付きテキスト分類ベースのパラダイム(SSTC)は通常、自己学習の精神を用いる。 本稿では,SSTCを雑音ラベル方式で学習する上で,RNT(Range-Aware Negative Training)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-13T08:41:36Z)
• Cycle Label-Consistent Networks for Unsupervised Domain Adaptation [57.29464116557734]
  ドメイン適応は、ラベル付きソースドメインを活用して、異なる分布を持つラベル付きターゲットドメインの分類子を学ぶことを目的としています。 本稿では,分類ラベルのサイクル整合性を利用して,シンプルで効率的な領域適応手法,すなわちCycle Label-Consistent Network (CLCN)を提案する。 MNIST-USPS-SVHN, Office-31, Office-Home, Image CLEF-DAベンチマークに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2022-05-27T13:09:08Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。