論文の概要: Robust Dialogue State Tracking with Weak Supervision and Sparse Data

• arxiv url: http://arxiv.org/abs/2202.03354v1
• Date: Mon, 7 Feb 2022 16:58:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 16:05:19.521580
• Title: Robust Dialogue State Tracking with Weak Supervision and Sparse Data
• Title（参考訳）: 弱い監督とスパースデータを用いたロバスト対話状態追跡
• Authors: Michael Heck, Nurul Lubis, Carel van Niekerk, Shutong Feng, Christian Geishauser, Hsien-Chin Lin, Milica Ga\v{s}i\'c
• Abstract要約: 対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため困難である。 サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。 そこで本研究では,詳細な手動スパンラベルを必要とせず,抽出DSTモデルを構築するためのトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 2.580163308334609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalising dialogue state tracking (DST) to new data is especially challenging due to the strong reliance on abundant and fine-grained supervision during training. Sample sparsity, distributional shift and the occurrence of new concepts and topics frequently lead to severe performance degradation during inference. In this paper we propose a training strategy to build extractive DST models without the need for fine-grained manual span labels. Two novel input-level dropout methods mitigate the negative impact of sample sparsity. We propose a new model architecture with a unified encoder that supports value as well as slot independence by leveraging the attention mechanism. We combine the strengths of triple copy strategy DST and value matching to benefit from complementary predictions without violating the principle of ontology independence. Our experiments demonstrate that an extractive DST model can be trained without manual span labels. Our architecture and training strategies improve robustness towards sample sparsity, new concepts and topics, leading to state-of-the-art performance on a range of benchmarks. We further highlight our model's ability to effectively learn from non-dialogue data.
• Abstract（参考訳）: 対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため、特に困難である。 サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。 本稿では,詳細な手動スパンラベルを必要とせずに抽出DSTモデルを構築するためのトレーニング戦略を提案する。 2つの新しい入力レベルのドロップアウト手法はサンプルスパーシティの負の影響を軽減する。 本稿では,アテンション機構を活用し,価値とスロット独立性をサポートする統一エンコーダを備えた新しいモデルアーキテクチャを提案する。 我々は,三重複写戦略dstと値マッチングの強みを組み合わせることにより,オントロジ独立の原理に違反することなく補完的予測の恩恵を受ける。 本実験は,手動ラベルなしでDSTモデルを訓練できることを実証した。 私たちのアーキテクチャとトレーニング戦略は、サンプルのスパーシリティ、新しい概念、トピックに対する堅牢性を改善し、様々なベンチマークにおける最先端のパフォーマンスをもたらします。 さらに、非対話データから効果的に学習するモデルの能力を強調します。

関連論文リスト

• T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data [0.0]
  自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、データ拡張が必要である。 本研究では,構造化データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。
  論文  参考訳（メタデータ） (2024-10-07T13:15:07Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
  既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。 本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。 提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-26T21:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。