論文の概要: AB/BA analysis: A framework for estimating keyword spotting recall improvement while maintaining audio privacy

• arxiv url: http://arxiv.org/abs/2204.08474v1
• Date: Mon, 18 Apr 2022 13:52:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 01:54:39.696905
• Title: AB/BA analysis: A framework for estimating keyword spotting recall improvement while maintaining audio privacy
• Title（参考訳）: ab/ba分析:音声プライバシーを維持しつつキーワードスポッティングリコール改善を推定するフレームワーク
• Authors: Raphael Petegrosso, Vasistakrishna Baderdinni, Thibaud Senechal, Benjamin L. Bullough
• Abstract要約: KWSはキーワードが存在する場合にのみデータを集めるように設計されており、偽陰性を含む可能性のあるハードサンプルの入手を制限している。 AB/BA解析と呼ばれる評価手法を提案する。 AB/BA分析は, 相対的偽陽性率のトレードオフに伴うリコール改善の測定に成功していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation of keyword spotting (KWS) systems that detect keywords in speech is a challenging task under realistic privacy constraints. The KWS is designed to only collect data when the keyword is present, limiting the availability of hard samples that may contain false negatives, and preventing direct estimation of model recall from production data. Alternatively, complementary data collected from other sources may not be fully representative of the real application. In this work, we propose an evaluation technique which we call AB/BA analysis. Our framework evaluates a candidate KWS model B against a baseline model A, using cross-dataset offline decoding for relative recall estimation, without requiring negative examples. Moreover, we propose a formulation with assumptions that allow estimation of relative false positive rate between models with low variance even when the number of false positives is small. Finally, we propose to leverage machine-generated soft labels, in a technique we call Semi-Supervised AB/BA analysis, that improves the analysis time, privacy, and cost. Experiments with both simulation and real data show that AB/BA analysis is successful at measuring recall improvement in conjunction with the trade-off in relative false positive rate.
• Abstract（参考訳）: 音声中のキーワードを検出するキーワードスポッティング(KWS)システムの評価は,現実的なプライバシー制約下での課題である。 KWSは、キーワードが存在する場合にのみデータを収集し、偽陰性を含む可能性のあるハードサンプルの可用性を制限し、生産データからのモデルリコールの直接推定を防ぐように設計されている。 あるいは、他のソースから収集された補完的なデータは、実際のアプリケーションを完全には表現できないかもしれない。 本研究では,AB/BA解析と呼ばれる評価手法を提案する。 本フレームワークは,相対的リコール推定にクロスデータセットオフライン復号法を用いて,ベースラインモデルAに対する候補KWSモデルBの評価を行う。 さらに, 擬陽性数が少ない場合でも, 低分散モデル間の相対的偽陽性率を推定できる仮定を用いた定式化を提案する。 最後に,機械が生成するソフトラベルを半スーパービジョンAB/BA分析と呼ぶ手法で活用し,解析時間,プライバシ,コストを改善することを提案する。 シミュレーションと実データの両方を用いて実験したところ、AB/BA分析は相対的偽陽性率のトレードオフとともにリコール改善を測定することに成功した。

関連論文リスト

• Low-Cost High-Power Membership Inference Attacks [15.240271537329534]
  メンバーシップ推論攻撃は、特定のデータポイントがモデルのトレーニングに使用されたかどうかを検出することを目的としている。 我々は,計算オーバーヘッドの少ない,堅牢なメンバシップ推論攻撃を行うための新しい統計的試験を設計する。 RMIAは、機械学習における実用的かつ正確なデータプライバシーリスク評価の基礎を成している。
  論文  参考訳（メタデータ） (2023-12-06T03:18:49Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)
• Improving Dialog Evaluation with a Multi-reference Adversarial Dataset and Large Scale Pretraining [18.174086416883412]
  i) コンテキストごとに5つの関連する応答と,(ii) コンテキスト毎に無関係な応答を5つの対向的に作成するDailyDialog++データセットを導入する。 複数の正しい参照が存在する場合でも、n-gramベースのメトリクスと埋め込みベースのメトリクスは、関連する応答をランダムな負と区別するのにうまく機能しないことを示す。 DEBと呼ばれる新しいBERTベースの評価指標を提案し、これはRedditの7億2700万の会話で事前トレーニングされ、データセットで微調整される。
  論文  参考訳（メタデータ） (2020-09-23T18:06:52Z)
• Probabilistic Anchor Assignment with IoU Prediction for Object Detection [9.703212439661097]
  オブジェクト検出では、どのアンカーを正または負のサンプルとして割り当てるか、すなわちアンカー代入(アンカー代入)がモデルの性能に大きく影響を与えるコアプロシージャとして明らかにされている。 本稿では,モデルの学習状況に応じて,アンカーを正と負のサンプルに適応的に分離する新しいアンカー代入戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-16T04:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。