論文の概要: Wakeword Detection under Distribution Shifts
- arxiv url: http://arxiv.org/abs/2207.06423v1
- Date: Wed, 13 Jul 2022 17:35:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-16 08:45:00.708167
- Title: Wakeword Detection under Distribution Shifts
- Title（参考訳）: 分散シフトによるウェイクワード検出
- Authors: Sree Hari Krishnan Parthasarathi, Lu Zeng, Christin Jose, Joseph Wang
- Abstract要約: 本稿では,訓練データと実世界のデータの分散シフトを克服するために,半教師付き学習(SSL)のための新しい手法を提案する。
教師モデルからラベル分布のエントロピーを低減するために,教師の信頼度に基づくラベリング戦略を開発する。
- 参考スコア（独自算出の注目度）: 4.128269694687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach for semi-supervised learning (SSL) designed to
overcome distribution shifts between training and real-world data arising in
the keyword spotting (KWS) task. Shifts from training data distribution are a
key challenge for real-world KWS tasks: when a new model is deployed on device,
the gating of the accepted data undergoes a shift in distribution, making the
problem of timely updates via subsequent deployments hard. Despite the shift,
we assume that the marginal distributions on labels do not change. We utilize a
modified teacher/student training framework, where labeled training data is
augmented with unlabeled data. Note that the teacher does not have access to
the new distribution as well. To train effectively with a mix of human and
teacher labeled data, we develop a teacher labeling strategy based on
confidence heuristics to reduce entropy on the label distribution from the
teacher model; the data is then sampled to match the marginal distribution on
the labels. Large scale experimental results show that a convolutional neural
network (CNN) trained on far-field audio, and evaluated on far-field audio
drawn from a different distribution, obtains a 14.3% relative improvement in
false discovery rate (FDR) at equal false reject rate (FRR), while yielding a
5% improvement in FDR under no distribution shift. Under a more severe
distribution shift from far-field to near-field audio with a smaller fully
connected network (FCN) our approach achieves a 52% relative improvement in FDR
at equal FRR, while yielding a 20% relative improvement in FDR on the original
distribution.
- Abstract（参考訳）: 本稿では,キーワードスポッティング(kws)タスクで発生するトレーニングと実世界データ間の分布シフトを克服する,半教師付き学習(ssl)のための新しい手法を提案する。
トレーニングデータ配布からのシフトは、実世界のKWSタスクにおいて重要な課題である。新しいモデルがデバイスにデプロイされると、受け入れられたデータのゲーティングが分散のシフトを受け、その後のデプロイメントによるタイムリーな更新の問題を難しくする。
この変化にもかかわらず、ラベルの限界分布は変化しないと仮定する。
教師/学生の学習フレームワークを改良し,ラベル付きトレーニングデータをラベルなしデータで拡張した。
教師は、新しい分布にもアクセスできないことに注意してください。
人間と教師のラベル付きデータの混合を効果的に訓練するため、教師モデルからラベル分布のエントロピーを減少させるために、信頼度ヒューリスティックスに基づく教師ラベル付け戦略を開発し、そのデータをサンプル化してラベル上の限界分布と一致させる。
大規模な実験結果から、遠方界オーディオで訓練された畳み込みニューラルネットワーク(CNN)が、異なる分布から引き出された遠方界オーディオで評価され、同じ偽検出率(FRR)で14.3%の相対的な偽検出率(FDR)が向上し、分布シフトのないFDRでは5%の改善が得られた。
完全接続ネットワーク(FCN)を小さくした遠距離音場から近距離音場へのより厳しい分布シフトの下で,本手法はFDRを同等のFRRで52%改善し,FDRを20%改善する。
関連論文リスト
- Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。
本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。
我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
論文 参考訳（メタデータ） (2024-10-08T15:06:10Z) - Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk
Minimization Framework [12.734559823650887]
分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。
既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。
本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-20T23:25:28Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳（メタデータ） (2023-03-06T17:19:23Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Tackling Instance-Dependent Label Noise with Dynamic Distribution
Calibration [18.59803726676361]
インスタンスに依存したラベルノイズは現実的だが、ラベルの破損プロセスはインスタンスに直接依存する。
これは、トレーニングの分布とテストデータの間に深刻な分布シフトを引き起こし、訓練されたモデルの一般化を損なう。
本稿では,インスタンス依存ラベル雑音を用いた学習における分布変化に対処するために,動的分布校正戦略を採用する。
論文 参考訳（メタデータ） (2022-10-11T03:50:52Z) - Learnable Distribution Calibration for Few-Shot Class-Incremental
Learning [122.2241120474278]
FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。
本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:40:26Z) - Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
本稿では,FLにおけるラベル分布スキューについて検討する。
本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。
フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
論文 参考訳（メタデータ） (2022-09-01T02:56:39Z) - How Robust is Your Fairness? Evaluating and Sustaining Fairness under
Unseen Distribution Shifts [107.72786199113183]
CUMA(CUrvature Matching)と呼ばれる新しいフェアネス学習手法を提案する。
CUMAは、未知の分布シフトを持つ未知の領域に一般化可能な頑健な公正性を達成する。
提案手法を3つの人気フェアネスデータセットで評価する。
論文 参考訳（メタデータ） (2022-07-04T02:37:50Z) - Confidence May Cheat: Self-Training on Graph Neural Networks under
Distribution Shift [39.73304203101909]
高信頼の未ラベルノードをラベル付けし、トレーニングステップに追加することで、グラフ上での自己学習手法が広く採用されている。
本稿では,従来のラベル付きデータセットの分布を復元する新しい分散検索フレームワーク(DR-GST)を提案する。
5つのベンチマークデータセットの理論的解析と広範な実験は、提案したDR-GSTの有効性を実証している。
論文 参考訳（メタデータ） (2022-01-27T07:12:27Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳（メタデータ） (2020-10-08T02:10:54Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳（メタデータ） (2020-06-16T03:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。