論文の概要: MetaASSIST: Robust Dialogue State Tracking with Meta Learning

• arxiv url: http://arxiv.org/abs/2210.12397v1
• Date: Sat, 22 Oct 2022 09:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:58:50.343218
• Title: MetaASSIST: Robust Dialogue State Tracking with Meta Learning
• Title（参考訳）: MetaASSIST: メタ学習によるロバストな対話状態追跡
• Authors: Fanghua Ye, Xi Wang, Jie Huang, Shenghui Li, Samuel Stern, Emine Yilmaz
• Abstract要約: 既存の対話データセットには、状態アノテーションに多くのノイズが含まれている。 ASSISTという名前の一般的なフレームワークは、最近、堅牢な対話状態追跡(DST)モデルをトレーニングするために提案されている。 重み付けパラメータを適応的に学習するメタ学習ベースのMetaASSISTを提案する。
• 参考スコア（独自算出の注目度）: 15.477794753452358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing dialogue datasets contain lots of noise in their state annotations. Such noise can hurt model training and ultimately lead to poor generalization performance. A general framework named ASSIST has recently been proposed to train robust dialogue state tracking (DST) models. It introduces an auxiliary model to generate pseudo labels for the noisy training set. These pseudo labels are combined with vanilla labels by a common fixed weighting parameter to train the primary DST model. Notwithstanding the improvements of ASSIST on DST, tuning the weighting parameter is challenging. Moreover, a single parameter shared by all slots and all instances may be suboptimal. To overcome these limitations, we propose a meta learning-based framework MetaASSIST to adaptively learn the weighting parameter. Specifically, we propose three schemes with varying degrees of flexibility, ranging from slot-wise to both slot-wise and instance-wise, to convert the weighting parameter into learnable functions. These functions are trained in a meta-learning manner by taking the validation set as meta data. Experimental results demonstrate that all three schemes can achieve competitive performance. Most impressively, we achieve a state-of-the-art joint goal accuracy of 80.10% on MultiWOZ 2.4.
• Abstract（参考訳）: 既存の対話データセットには、状態アノテーションに多くのノイズが含まれている。 このようなノイズはモデルトレーニングを損なう可能性があり、最終的には一般化性能が低下する。 ASSISTというフレームワークが最近提案され、堅牢な対話状態追跡(DST)モデルをトレーニングしている。 ノイズトレーニングセットの擬似ラベルを生成するための補助モデルを導入している。 これらの擬似ラベルは、一次DSTモデルをトレーニングするために共通の固定重み付けパラメータによってバニララベルと結合される。 DSTにおけるASSISTの改善にもかかわらず、重み付けパラメータのチューニングは難しい。 さらに、すべてのスロットとすべてのインスタンスで共有される単一のパラメータは、最適以下かもしれない。 これらの制約を克服するために,メタ学習に基づくMetaASSISTを提案し,重み付けパラメータを適応的に学習する。 具体的には,重み付けパラメータを学習可能な関数に変換するために,スロット毎からスロット毎,インスタンス毎までの柔軟性の異なる3つのスキームを提案する。 これらの関数は、検証セットをメタデータとして、メタ学習方法で訓練される。 実験の結果,3つのスキームがいずれも競争性能を発揮できることが示された。 最も印象的なのは、MultiWOZ 2.4で最先端の共同目標精度80.10%を達成することである。

関連論文リスト

• Dynamic Data Mixing Maximizes Instruction Tuning for Mixture-of-Experts [20.202031878825153]
  そこで本研究では,MoE命令チューニングのための新しい動的データ混合手法を提案する。 MoEのトークンルーティングの好みにインスパイアされた私たちは、データセットレベルの表現を構築し、データセット間の微妙な違いをキャプチャします。 2つのMoEモデルの結果は、下流の知識と推論タスクとオープンエンドクエリの両方に対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-17T06:47:03Z)
• LLM-based speaker diarization correction: A generalizable approach [0.0]
  ダイアリゼーション補正のための大規模言語モデル(LLM)を後処理のステップとして使用することを検討した。 モデルがフィッシャーコーパスのホールドアウトデータセットと独立データセットのダイアリゼーション精度を向上させる能力を測定した。
  論文  参考訳（メタデータ） (2024-06-07T13:33:22Z)
• Context-Aware Meta-Learning [52.09326317432577]
  本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。 我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
  論文  参考訳（メタデータ） (2023-10-17T03:35:27Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Automatic Learning of Subword Dependent Model Scales [50.105894487730545]
  本研究では,アテンションエンコーダ・デコーダ音響モデルと言語モデルを組み合わせたモデルスケールを手動チューニングと同様に効果的に学習できることを示す。 提案手法は,手動では調整できないサブワード依存モデル尺度に拡張され,LBSは7%,SWBは3%改善した。
  論文  参考訳（メタデータ） (2021-10-18T13:48:28Z)
• MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler [30.46938660561697]
  我々はMESAという新しいアンサンブルILフレームワークを紹介する。 複数の分類器を取得し、カスケードアンサンブルモデルを形成するために、反復でトレーニングセットを適応的に再サンプリングする。 一般的なメタラーニングベースのILソリューションとは異なり、MESAではモデルトレーニングとメタトレーニングを分離する。
  論文  参考訳（メタデータ） (2020-10-17T17:29:27Z)
• A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
  ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。 そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
  論文  参考訳（メタデータ） (2020-09-26T19:47:38Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。