Fugu-MT 論文翻訳(概要): Self-Training with Purpose Preserving Augmentation Improves Few-shot Generative Dialogue State Tracking

論文の概要: Self-Training with Purpose Preserving Augmentation Improves Few-shot Generative Dialogue State Tracking

arxiv url: http://arxiv.org/abs/2211.09379v1
Date: Thu, 17 Nov 2022 07:13:58 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 16:01:44.201261
Title: Self-Training with Purpose Preserving Augmentation Improves Few-shot Generative Dialogue State Tracking
Title（参考訳）: 目的保存強化による自己学習による生成対話状態追跡の改善
Authors: Jihyun Lee, Chaebin Lee, Yunsu Kim, Gary Geunbae Lee
Abstract要約: 対話状態追跡(DST)では、データセットのラベル付けにはかなりの人的労力がかかる。そこで本稿では,ラベルなしデータを利用した少数ショット生成DSTのための新たな自己学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 14.709084509818474
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In dialogue state tracking (DST), labeling the dataset involves considerable human labor. We propose a new self-training framework for few-shot generative DST that utilize unlabeled data. Our self-training method iteratively improves the model by pseudo labeling and employs Purpose Preserving Augmentation (PPAug) to prevent overfitting. We increaese the few-shot 10% performance by approximately 4% on MultiWOZ 2.1 and enhances the slot-recall 8.34% for unseen values compared to baseline.
Abstract（参考訳）: 対話状態追跡(DST)では、データセットのラベル付けにはかなりの人的労力がかかる。本稿では,ラベルなしデータを用いた少数発生成dstのための新しい自己学習フレームワークを提案する。自己学習手法は, 擬似ラベリングにより反復的にモデルを改善し, オーバーフィッティングを防止するためにPPAugを用いている。また,MultiWOZ 2.1では10%程度向上し,ベースラインに比べてスロットリコールが8.34%向上した。

関連論文リスト

Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
論文参考訳（メタデータ） (2025-02-08T01:20:09Z)
EnhancePPG: Improving PPG-based Heart Rate Estimation with Self-Supervision and Augmentation [17.617241860357407]
本稿では、自己教師付き学習とデータ拡張を統合することにより、最先端のモデルを強化する手法であるEnhanceを提案する。 U-Netのようなオートエンコーダアーキテクチャにインスパイアされた我々は、大量のラベルのないデータを利用して、教師なしPSG信号再構成を利用する。 PPG-DaLiAの4.03 Beats-Per-Minute(BPM)から3.54 BPMエラーまで、最高の人事推定を12.2%改善します。
論文参考訳（メタデータ） (2024-12-20T13:25:50Z)
Silkie: Preference Distillation for Large Visual Language Models [56.10697821410489]
本稿では,大型視覚言語モデル(LVLM)の嗜好蒸留について検討する。まず,AIアノテーションを用いた視覚言語フィードバックデータセットを構築した。我々は, GPT-4V を用いて, 有用性, 視覚的忠実性, 倫理的考察のアウトプットを評価する。結果として得られたモデルSilkieは、認知能力と認知能力に関するMMEベンチマークで6.9%と9.5%の相対的な改善を達成している。
論文参考訳（メタデータ） (2023-12-17T09:44:27Z)
UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking [54.51316566989655]
従来のゼロショット対話状態追跡(DST)手法は、対象領域における非競合データを無視して、転送学習のみを適用した。我々は,ゼロショットDSTを,ジョイントおよび自己学習手法による非ラベルデータを利用して,少数ショットDSTに変換する。ゼロショットシナリオにおける汎用言語モデルに対する本手法の有効性を実証し、MultiWOZの全ドメインで平均的な共同ゴール精度を8%向上する。
論文参考訳（メタデータ） (2023-10-16T15:16:16Z)
CCC-wav2vec 2.0: Clustering aided Cross Contrastive Self-supervised learning of speech representations [1.2031796234206138]
本稿では,クラスタリングと拡張に基づくクロスコントラスト損失を自己管理対象とする,ccc-wav2vec 2.0という新たな事前学習戦略を提案する。 ccc-wav2vec 2.0は、言語モデルを用いることなく、それぞれLibriSpeechのテストクリーンおよびテスト他のセットのベースラインwav2vec 2.0に対する15.6%と12.7%の相対的なWER改善を実現している。
論文参考訳（メタデータ） (2022-10-05T22:44:35Z)
STraTA: Self-Training with Task Augmentation for Better Few-shot Learning [77.04780470527432]
タスク拡張による自己学習のためのSTraTAを提案する。実験の結果,STraTAは12個のベンチマークでサンプル効率を大幅に向上できることがわかった。分析の結果,タスク強化と自己学習は相補的かつ独立的に有効であることが判明した。
論文参考訳（メタデータ） (2021-09-13T19:14:01Z)
Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
論文参考訳（メタデータ） (2020-10-26T21:57:42Z)
Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。