論文の概要: Robust Dialogue State Tracking with Weak Supervision and Sparse Data
- arxiv url: http://arxiv.org/abs/2202.03354v1
- Date: Mon, 7 Feb 2022 16:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 16:05:19.521580
- Title: Robust Dialogue State Tracking with Weak Supervision and Sparse Data
- Title(参考訳): 弱い監督とスパースデータを用いたロバスト対話状態追跡
- Authors: Michael Heck, Nurul Lubis, Carel van Niekerk, Shutong Feng, Christian
Geishauser, Hsien-Chin Lin, Milica Ga\v{s}i\'c
- Abstract要約: 対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため困難である。
サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。
そこで本研究では,詳細な手動スパンラベルを必要とせず,抽出DSTモデルを構築するためのトレーニング戦略を提案する。
- 参考スコア(独自算出の注目度): 2.580163308334609
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalising dialogue state tracking (DST) to new data is especially
challenging due to the strong reliance on abundant and fine-grained supervision
during training. Sample sparsity, distributional shift and the occurrence of
new concepts and topics frequently lead to severe performance degradation
during inference. In this paper we propose a training strategy to build
extractive DST models without the need for fine-grained manual span labels. Two
novel input-level dropout methods mitigate the negative impact of sample
sparsity. We propose a new model architecture with a unified encoder that
supports value as well as slot independence by leveraging the attention
mechanism. We combine the strengths of triple copy strategy DST and value
matching to benefit from complementary predictions without violating the
principle of ontology independence. Our experiments demonstrate that an
extractive DST model can be trained without manual span labels. Our
architecture and training strategies improve robustness towards sample
sparsity, new concepts and topics, leading to state-of-the-art performance on a
range of benchmarks. We further highlight our model's ability to effectively
learn from non-dialogue data.
- Abstract(参考訳): 対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため、特に困難である。
サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。
本稿では,詳細な手動スパンラベルを必要とせずに抽出DSTモデルを構築するためのトレーニング戦略を提案する。
2つの新しい入力レベルのドロップアウト手法はサンプルスパーシティの負の影響を軽減する。
本稿では,アテンション機構を活用し,価値とスロット独立性をサポートする統一エンコーダを備えた新しいモデルアーキテクチャを提案する。
我々は,三重複写戦略dstと値マッチングの強みを組み合わせることにより,オントロジ独立の原理に違反することなく補完的予測の恩恵を受ける。
本実験は,手動ラベルなしでDSTモデルを訓練できることを実証した。
私たちのアーキテクチャとトレーニング戦略は、サンプルのスパーシリティ、新しい概念、トピックに対する堅牢性を改善し、様々なベンチマークにおける最先端のパフォーマンスをもたらします。
さらに、非対話データから効果的に学習するモデルの能力を強調します。
関連論文リスト
- Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文 参考訳(メタデータ) (2024-03-05T09:18:29Z) - Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
長い尾の分布に従うデータセットの逆トレーニングについて検討する。
我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
論文 参考訳(メタデータ) (2023-07-14T07:01:48Z) - PromptAttack: Probing Dialogue State Trackers with Adversarial Prompts [25.467840115593784]
現代の会話システムの主要なコンポーネントは、対話状態追跡器(DST)である。
そこで本稿では,DSTモデルを探索する効果的な逆例を自動生成する,プロンプトベースの学習手法を提案する。
生成した相手のサンプルが、相手のトレーニングを通じてDSTをどの程度強化できるかを示す。
論文 参考訳(メタデータ) (2023-06-07T15:41:40Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。
本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。
提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
論文 参考訳(メタデータ) (2020-10-26T21:57:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。