論文の概要: Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering

• arxiv url: http://arxiv.org/abs/2205.10363v1
• Date: Fri, 20 May 2022 03:13:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 01:29:40.966657
• Title: Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering
• Title（参考訳）: 相対的事前学習と逆フィルタリングを用いたロバストタスク指向対話生成
• Authors: Shiquan Yang, Xinting Huang, Jey Han Lau, Sarah Erfani
• Abstract要約: データアーティファクトは機械学習モデルにインセンティブを与え、非伝達可能な一般化を学ぶ。 我々は、MultiWOZのような一般的なデータセットがそのようなデータアーティファクトを含んでいるかどうかを検討する。 本稿では,これらの手法を無視し,一般化可能なパターンを学習することをモデルに推奨する,対照的な学習ベースのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.7709632238066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data artifacts incentivize machine learning models to learn non-transferable generalizations by taking advantage of shortcuts in the data, and there is growing evidence that data artifacts play a role for the strong results that deep learning models achieve in recent natural language processing benchmarks. In this paper, we focus on task-oriented dialogue and investigate whether popular datasets such as MultiWOZ contain such data artifacts. We found that by only keeping frequent phrases in the training examples, state-of-the-art models perform similarly compared to the variant trained with full data, suggesting they exploit these spurious correlations to solve the task. Motivated by this, we propose a contrastive learning based framework to encourage the model to ignore these cues and focus on learning generalisable patterns. We also experiment with adversarial filtering to remove "easy" training instances so that the model would focus on learning from the "harder" instances. We conduct a number of generalization experiments -- e.g., cross-domain/dataset and adversarial tests -- to assess the robustness of our approach and found that it works exceptionally well.
• Abstract（参考訳）: データアーティファクトは、データのショートカットを利用して機械学習モデルにインセンティブを与えて、非伝達可能な一般化を学習し、近年の自然言語処理ベンチマークでディープラーニングモデルが達成した強力な結果にデータアーティファクトが寄与する証拠が増えている。 本稿では,タスク指向対話に着目し,MultiWOZなどの一般的なデータセットにそのようなデータアーティファクトが含まれているかどうかを検討する。 トレーニング例に頻繁なフレーズだけを保持することで、最先端のモデルがフルデータでトレーニングされた変種と同等のパフォーマンスを発揮することが分かり、これらのスプリアス相関を利用して課題を解決することを示唆した。 そこで本研究では,これらのヒントを無視し,一般化可能なパターンの学習に焦点をあてたコントラスト型学習フレームワークを提案する。 また,モデルが"よりハード"なインスタンスから学習することに集中できるように,"簡単な"トレーニングインスタンスを削除するために,逆フィルタリングも実験した。 我々は、我々のアプローチの堅牢性を評価するために、多くの一般化実験(クロスドメイン/データセットや逆行テストなど)を行い、非常にうまく機能することを発見した。

関連論文リスト

• Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
  高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。 これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。 本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
  論文  参考訳（メタデータ） (2024-10-19T08:39:21Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
  Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。 本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-12T09:40:33Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Few-Cost Salient Object Detection with Adversarial-Paced Learning [95.0220555274653]
  本稿では,少数のトレーニング画像にのみ手動アノテーションを応用して,効果的なサルエント物体検出モデルを学習することを提案する。 我々は,このタスクを,少額の有能な物体検出とみなし,少数のコストの学習シナリオを促進するために,APL(Adversarialpaced Learning)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-05T14:15:49Z)
• Manifold attack [0.22419496088582863]
  本稿では,元データから潜在表現への多様体保存(manifold learning)を強制する。 正則化のアプローチは,正則化の精度向上と,逆例の堅牢性に寄与することを示す。
  論文  参考訳（メタデータ） (2020-09-13T09:39:32Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。