論文の概要: Deep F-measure Maximization for End-to-End Speech Understanding

• arxiv url: http://arxiv.org/abs/2008.03425v1
• Date: Sat, 8 Aug 2020 03:02:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 11:38:11.560155
• Title: Deep F-measure Maximization for End-to-End Speech Understanding
• Title（参考訳）: エンドツーエンド音声理解のための深度F尺度の最大化
• Authors: Leda Sar{\i} and Mark Hasegawa-Johnson
• Abstract要約: 本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
• 参考スコア（独自算出の注目度）: 52.36496114728355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken language understanding (SLU) datasets, like many other machine learning datasets, usually suffer from the label imbalance problem. Label imbalance usually causes the learned model to replicate similar biases at the output which raises the issue of unfairness to the minority classes in the dataset. In this work, we approach the fairness problem by maximizing the F-measure instead of accuracy in neural network model training. We propose a differentiable approximation to the F-measure and train the network with this objective using standard backpropagation. We perform experiments on two standard fairness datasets, Adult, and Communities and Crime, and also on speech-to-intent detection on the ATIS dataset and speech-to-image concept classification on the Speech-COCO dataset. In all four of these tasks, F-measure maximization results in improved micro-F1 scores, with absolute improvements of up to 8% absolute, as compared to models trained with the cross-entropy loss function. In the two multi-class SLU tasks, the proposed approach significantly improves class coverage, i.e., the number of classes with positive recall.
• Abstract（参考訳）: 音声言語理解(SLU)データセットは、他の多くの機械学習データセットと同様に、ラベルの不均衡の問題に悩まされる。 ラベルの不均衡は通常、学習したモデルが出力で同様のバイアスを再現し、データセット内のマイノリティクラスに不公平な問題を引き起こす。 本研究では,ニューラルネットワークモデルトレーニングにおける精度よりもF尺度を最大化することにより,公平性問題にアプローチする。 本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 本研究は,成人,地域,犯罪の2つの標準フェアネスデータセットと,atisデータセットにおける音声対インテント検出と音声対イメージ概念分類についての実験を行う。 これら4つのタスクすべてにおいて、f-measureの最大化は、クロスエントロピー損失関数で訓練されたモデルと比較して、絶対値が最大8%改善され、micro-f1スコアが向上する。 2つのマルチクラスsluタスクにおいて、提案手法はクラスカバレッジ、すなわち正のリコールを持つクラス数を大幅に改善する。

関連論文リスト

• On Homomorphic Encryption Based Strategies for Class Imbalance in Federated Learning [4.322339935902437]
  トレーニングデータセットにおけるクラス不均衡は、機械学習モデルにおけるバイアスと一般化の欠如につながる可能性がある。 フェデレート学習におけるグローバルクラス不均衡に関連する問題に対処するプライバシー保護フレームワークであるFLICKERを提案する。
  論文  参考訳（メタデータ） (2024-10-28T16:35:40Z)
• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning [9.998859702421417]
  マシン・アンラーニング(MU)は、選択したデータポイントがモデルの性能に与える影響を排除することを目的としている。 データ影響消去のための様々なMU手法にもかかわらず、評価は主にランダムなデータの忘れ方に焦点を当てている。 本稿では,影響消去の最も重要な課題を示すデータサブセットの同定を提案する。
  論文  参考訳（メタデータ） (2024-03-12T06:50:32Z)
• Fairness-enhancing mixed effects deep learning improves fairness on in- and out-of-distribution clustered (non-iid) data [6.596656267996196]
  フェア・ミックスド・エフェクト・ディープ・ラーニング(Fair MEDL)フレームワークを紹介する。 Fair MEDLは、クラスタ不変固定効果(FE)とクラスタ固有ランダム効果(RE)を定量化する 敵の偏見を取り入れて、平等化オッド、デモグラフィックパリティ、カウンターファクトフェアネスの3つの主要な指標の公平性を促進する。
  論文  参考訳（メタデータ） (2023-10-04T20:18:45Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [23.00300794016583]
  最先端の自然言語理解分類モデルは2段階に従う。 微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。 提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
  論文  参考訳（メタデータ） (2020-11-03T01:10:39Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。