論文の概要: MoNET: Tackle State Momentum via Noise-Enhanced Training for Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2211.05503v3
• Date: Mon, 19 Jun 2023 03:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 05:06:59.417918
• Title: MoNET: Tackle State Momentum via Noise-Enhanced Training for Dialogue State Tracking
• Title（参考訳）: MoNET: 対話状態追跡のためのノイズ強化トレーニングによるタックル状態モメンタム
• Authors: Haoning Zhang, Junwei Bao, Haipeng Sun, Youzheng Wu, Wenye Li, Shuguang Cui, Xiaodong He
• Abstract要約: 対話状態追跡(DST)は、対話履歴をスロット値ペアからなる対話状態に変換することを目的としている。 最後のターンの対話状態は、通常、DSTモデルによって現在の状態を予測するための入力として採用される。 ノイズ強化トレーニングにより状態運動量に対処するためのMoNETを提案する。
• 参考スコア（独自算出の注目度）: 42.70799541159301
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dialogue state tracking (DST) aims to convert the dialogue history into dialogue states which consist of slot-value pairs. As condensed structural information memorizing all history information, the dialogue state in the last turn is typically adopted as the input for predicting the current state by DST models. However, these models tend to keep the predicted slot values unchanged, which is defined as state momentum in this paper. Specifically, the models struggle to update slot values that need to be changed and correct wrongly predicted slot values in the last turn. To this end, we propose MoNET to tackle state momentum via noise-enhanced training. First, the previous state of each turn in the training data is noised via replacing some of its slot values. Then, the noised previous state is used as the input to learn to predict the current state, improving the model's ability to update and correct slot values. Furthermore, a contrastive context matching framework is designed to narrow the representation distance between a state and its corresponding noised variant, which reduces the impact of noised state and makes the model better understand the dialogue history. Experimental results on MultiWOZ datasets show that MoNET outperforms previous DST methods. Ablations and analysis verify the effectiveness of MoNET in alleviating state momentum and improving anti-noise ability.
• Abstract（参考訳）: 対話状態追跡(DST)は、対話履歴をスロット値ペアからなる対話状態に変換することを目的としている。 全ての履歴情報を記憶する複合構造情報として、dstモデルによる現在の状態を予測する入力として、最後の順番の対話状態が典型的に採用される。 しかし, このモデルでは, 予測されたスロット値が変化せず, 状態モーメントとして定義される傾向がみられた。 具体的には、モデルが変更が必要なスロット値の更新に苦労し、最後のターンで間違った予測スロット値を修正します。 この目的のために,ノイズ強化トレーニングにより状態運動量に対処するMoNETを提案する。 まず、トレーニングデータの各ターンの前の状態は、スロット値の一部を置き換えることでノイズが発生する。 そして、ノイズの多い前の状態を入力として使用して、現在の状態を予測し、モデルがスロット値を更新して修正する能力を改善する。 さらに、コントラスト的コンテキストマッチングフレームワークは、状態とそれに対応する雑音変動との表現距離を狭め、ノイズ状態の影響を低減し、モデルに対話履歴をよりよく理解させるように設計されている。 MultiWOZデータセットの実験結果は、MoNETが従来のDSTメソッドより優れていることを示している。 アブレーションと解析は、状態運動量軽減と反雑音能力向上におけるmonetの有効性を検証する。

関連論文リスト

• Grounding Description-Driven Dialogue State Trackers with Knowledge-Seeking Turns [54.56871462068126]
  人または合成スキーマのパラフレーズによるトレーニングセットの強化は、これらのバリエーションに対するモデルの堅牢性を改善するが、コストがかかるか、制御が難しいかのいずれかである。 本稿では,対話コーパスとスキーマから収集した知識探索ターンの状態追跡モデルに基づいて,これらの問題を回避することを提案する。
  論文  参考訳（メタデータ） (2023-09-23T18:33:02Z)
• Dialogue State Distillation Network with Inter-Slot Contrastive Learning for Dialogue State Tracking [25.722458066685046]
  対話状態追跡(DST)は,対話履歴からユーザの意図を抽出することを目的としている。 現在、既存のほとんどのアプローチはエラーの伝播に悩まされており、関連する情報を動的に選択することはできない。 本稿では,従来の対話状態の関連情報を活用するために,対話状態蒸留ネットワーク(DSDN)を提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:05:24Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework [68.1678127433077]
  我々はトランスフォーマーモデルを拡張して,物語生成のためのエンティティ状態更新と文実現を動的に行う。 2つのナラティブデータセットの実験により、我々のモデルは強いベースラインよりも一貫性があり多様なナラティブを生成できることが示された。
  論文  参考訳（メタデータ） (2022-08-08T09:02:19Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Effective Sequence-to-Sequence Dialogue State Tracking [22.606650177804966]
  事前学習対象の選択は、状態追跡品質に有意な違いをもたらすことを示す。 また、状態追跡モデルに対して、テキスト要約のための予測に基づく事前学習目的であるPegasusについても検討する。 その結果,対話状態の追跡には,遠隔要約タスクの事前学習が驚くほど有効であることが判明した。
  論文  参考訳（メタデータ） (2021-08-31T17:27:59Z)
• Oh My Mistake!: Toward Realistic Dialogue State Tracking including Turnback Utterances [1.6099403809839035]
  我々は、現在のベンチマークデータセットが、意識を変えるカジュアルな会話を扱うのに十分な多様性があるかどうかを調査する。 テンプレートベースのターンバック発話はDSTモデルの性能を著しく低下させることがわかった。 また、トレーニングデータセットにターンバックが適切に含まれると、パフォーマンスがリバウンドすることも観察した。
  論文  参考訳（メタデータ） (2021-08-28T12:10:50Z)
• Neural Dialogue State Tracking with Temporally Expressive Networks [40.808421462004866]
  対話状態追跡(DST)は、音声対話システムにおいて重要な部分である。 既存のDSTモデルは、対話中の時間的特徴依存を無視したり、対話における時間的状態依存を明示的にモデル化しなかったりする。 DSTにおける2種類の時間依存を共同でモデル化するためのテンポラリ表現型ネットワーク(TEN)を提案する。
  論文  参考訳（メタデータ） (2020-09-16T11:53:00Z)
• Non-Autoregressive Dialog State Tracking [122.2328875457225]
  非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。 NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。 以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
  論文  参考訳（メタデータ） (2020-02-19T06:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。