Fugu-MT 論文翻訳(概要): Data balancing for boosting performance of low-frequency classes in Spoken Language Understanding

論文の概要: Data balancing for boosting performance of low-frequency classes in Spoken Language Understanding

arxiv url: http://arxiv.org/abs/2008.02603v1
Date: Thu, 6 Aug 2020 12:23:11 GMT
ステータス: 処理完了
システム内更新日: 2022-11-02 07:37:23.553438
Title: Data balancing for boosting performance of low-frequency classes in Spoken Language Understanding
Title（参考訳）: 音声理解における低頻度クラスの性能向上のためのデータバランス
Authors: Judith Gaspers, Quynh Do, Fabian Triefenbach
Abstract要約: 本稿では,音声言語理解(SLU)アプリケーションにおけるデータ不均衡処理に関する最初の体系的研究について述べる。既存のデータ分散手法をSLUに適用し、目的分類とスロットフィリングのためのマルチタスクSLUモデルを提案する。実世界のデータセットを用いた結果から,本モデルでは,頭部意図に対する潜在的な性能低下を回避しつつ,低周波意図に対する性能を著しく向上させることができることが示唆された。
参考スコア（独自算出の注目度）: 9.689893038619585
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the fact that data imbalance is becoming more and more common in real-world Spoken Language Understanding (SLU) applications, it has not been studied extensively in the literature. To the best of our knowledge, this paper presents the first systematic study on handling data imbalance for SLU. In particular, we discuss the application of existing data balancing techniques for SLU and propose a multi-task SLU model for intent classification and slot filling. Aiming to avoid over-fitting, in our model methods for data balancing are leveraged indirectly via an auxiliary task which makes use of a class-balanced batch generator and (possibly) synthetic data. Our results on a real-world dataset indicate that i) our proposed model can boost performance on low frequency intents significantly while avoiding a potential performance decrease on the head intents, ii) synthetic data are beneficial for bootstrapping new intents when realistic data are not available, but iii) once a certain amount of realistic data becomes available, using synthetic data in the auxiliary task only yields better performance than adding them to the primary task training data, and iv) in a joint training scenario, balancing the intent distribution individually improves not only intent classification but also slot filling performance.
Abstract（参考訳）: 実世界の音声言語理解(SLU)アプリケーションでは、データの不均衡がますます一般的になっているにもかかわらず、文献では広く研究されていない。本稿では,SLUにおけるデータ不均衡処理に関する最初の体系的研究について述べる。特に,既存のデータ分散手法のSLUへの適用について論じ,目的分類とスロットフィリングのためのマルチタスクSLUモデルを提案する。過剰フィッティングを避けるため,データバランスのためのモデル手法では,クラスバランスバッチ生成器と(多分)合成データを利用する補助タスクを介して間接的に活用する。実世界のデータセットでの結果は、一提案モデルは、ヘッドインテントの潜在的な性能低下を回避しつつ、低周波インテントの性能を著しく向上させることができる。二リアルなデータが得られない場合は新しい意図をブートストラップするのに有益であるが三一定量の現実的なデータが利用可能になると、補助作業において合成データを使用することにより、一次作業訓練データに追加するよりも優れた性能が得られること。四共同訓練のシナリオにおいて、意図分布のバランスは、目的分類だけでなくスロット充填性能も個別に改善する。

関連論文リスト

Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Text Classification [7.357494019212501]
本研究では,合成データと実世界の分布を協調する効率的な重み付け手法を提案する。複数のテキスト分類タスクにおいて,提案手法の有効性を実証的に評価した。
論文参考訳（メタデータ） (2024-10-28T20:53:49Z)
Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
大規模言語モデル(LLM)による合成データ生成の有効性について検討する。実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
論文参考訳（メタデータ） (2024-09-18T13:20:23Z)
Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文参考訳（メタデータ） (2024-07-09T08:14:29Z)
Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
論文参考訳（メタデータ） (2024-06-18T08:38:59Z)
Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文参考訳（メタデータ） (2024-06-07T11:37:45Z)
ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
大型言語モデル(LLM)は有害な社会的バイアスを示す。そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
論文参考訳（メタデータ） (2024-02-19T01:28:48Z)
From Zero to Hero: Detecting Leaked Data through Synthetic Data Injection and Model Querying [10.919336198760808]
分類モデルの学習に使用される漏洩データを検出する新しい手法を提案する。 textscLDSSは、クラス分散の局所的なシフトによって特徴付けられる、少量の合成データを所有者のデータセットに注入する。これにより、モデルクエリ単独で、リークデータに基づいてトレーニングされたモデルの効果的な識別が可能になる。
論文参考訳（メタデータ） (2023-10-06T10:36:28Z)
SYNAuG: Exploiting Synthetic Data for Data Imbalance Problems [39.675787338941184]
本稿では,データ不均衡問題に対処する合成データの可能性について検討する。具体的には、SynAuGと呼ばれる手法は、学習データの不均衡分布を等化するために合成データを利用する。実データと合成データの間には領域ギャップが存在するが,SynAuGを用いたトレーニングと,いくつかの実データを用いた微調整により,優れた性能が得られることを示した。
論文参考訳（メタデータ） (2023-08-02T07:59:25Z)
Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文参考訳（メタデータ） (2022-05-02T16:09:17Z)
CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文参考訳（メタデータ） (2022-02-11T13:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。