論文の概要: Challenging Instances are Worth Learning: Generating Valuable Negative Samples for Response Selection Training

• arxiv url: http://arxiv.org/abs/2109.06538v1
• Date: Tue, 14 Sep 2021 09:16:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:39:33.597915
• Title: Challenging Instances are Worth Learning: Generating Valuable Negative Samples for Response Selection Training
• Title（参考訳）: チャレージングインスタンスは価値ある学習である:応答選択訓練のための価値ある負のサンプルを生成する
• Authors: Yao Qiu, Jinchao Zhang, Huiying Ren, Jie Zhou
• Abstract要約: 応答選択モジュールは、通常、アノテーション付きの正反応とサンプル化された負反応に基づいて訓練される。 我々は、モデルの堅牢性を高めるために、より困難な負のインスタンスを構築するために、事前訓練された言語モデルを使用します。 本手法は対話応答選択能力を大幅に改善する。
• 参考スコア（独自算出の注目度）: 16.34984384383166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-based chatbot selects the appropriate response from candidates according to the context, which heavily depends on a response selection module. A response selection module is generally a scoring model to evaluate candidates and is usually trained on the annotated positive response and sampled negative responses. Sampling negative responses lead to two risks: a). The sampled negative instances, especially that from random sampling methods, are mostly irrelevant to the dialogue context and too easy to be fitted at the training stage while causing a weak model in the real scenario. b). The so-called negative instances may be positive, which is known as the fake negative problem. To address the above issue, we employ pre-trained language models, such as the DialoGPT to construct more challenging negative instances to enhance the model robustness. Specifically, we provide garbled context to the pre-trained model to generate responses and filter the fake negative ones. In this way, our negative instances are fluent, context-related, and more challenging for the model to learn, while can not be positive. Extensive experiments show that our method brings significant and stable improvements on the dialogue response selection capacity.
• Abstract（参考訳）: 検索ベースのチャットボットは、応答選択モジュールに大きく依存するコンテキストに応じて、候補から適切な応答を選択する。 応答選択モジュールは一般に候補を評価するためのスコアリングモデルであり、通常は注釈付き正の応答とサンプルされた負の応答で訓練される。 ネガティブ反応のサンプリングは2つのリスクをもたらす。 a)。 サンプルされた負のインスタンス、特にランダムなサンプリング手法は、ほとんど対話コンテキストと無関係であり、実際のシナリオでは弱いモデルを引き起こす一方、トレーニング段階では適合しがたい。 b)。 いわゆる負のインスタンスは正であり、偽の負の問題として知られている。 上記の問題に対処するために、DialoGPTのような事前訓練された言語モデルを用いて、より困難な負のインスタンスを構築し、モデルの堅牢性を高める。 具体的には、トレーニング済みのモデルにガルブ付きコンテキストを提供し、応答を生成し、偽のネガティブなものをフィルタリングします。 このようにして、私たちの否定的なインスタンスは流動的で、コンテキストに関連し、モデルが学ぶことがより難しくなりますが、ポジティブではなりません。 実験の結果,本手法は対話応答選択能力を大幅に向上させることができた。

関連論文リスト

• Generating Enhanced Negatives for Training Language-Based Object Detectors [86.1914216335631]
  我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。 具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。 実験により, 生成した負データとの関連性を確認し, 言語ベースの検出器での使用により, 2つの複雑なベンチマークの性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T23:04:00Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• SCENE: Self-Labeled Counterfactuals for Extrapolating to Negative Examples [23.77077091225583]
  SCENE(Self-labeled Counterfactuals for Extrapolating to Negative Examples)は、学習データを自動合成する手法である。 SCENEは、答え可能なトレーニング例のみにアクセスすることで、SQuAD 2.0のパフォーマンスギャップの69.6%を埋めることができる。
  論文  参考訳（メタデータ） (2023-05-13T19:30:58Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Pneg: Prompt-based Negative Response Generation for Dialogue Response Selection Task [27.513992470527427]
  検索に基づく対話システムでは、応答選択モデルがランサーとして機能し、複数の候補の中から最も適切な応答を選択する。 近年の研究では, 対向応答を負のトレーニングサンプルとして活用することは, 選択モデルの識別能力を向上させるのに有用であることが示されている。 本稿では,大規模言語モデルを利用した対向的負の応答を簡易に,かつ効率的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T11:49:49Z)
• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• A Systematic Evaluation of Response Selection for Open Domain Dialogue [36.88551817451512]
  同じダイアログで生成された複数の応答生成元からの応答を、適切な(正)と不適切な(負)として手動でアノテートするデータセットをキュレートした。 反応選択のための最先端手法の体系的評価を行い、複数の正の候補を用いたり、手動で検証された強陰性候補を用いたりすることで、それぞれRecall@1スコアの3%と13%の増加など、相手のトレーニングデータを用いた場合と比較して、大幅な性能向上が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-08T19:33:30Z)
• Diversifying Neural Dialogue Generation via Negative Distillation [11.124375734351826]
  本稿では, モデルが望ましくない汎用応答から遠ざけるために, 負蒸留と呼ばれる新しい負の訓練パラダイムを提案する。 実験結果から,本手法は従来の負の訓練方法よりも有意に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-05-05T17:14:56Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Group-wise Contrastive Learning for Neural Dialogue Generation [29.749195182401344]
  対話生成に比較学習を導入し、モデルが肯定的発話と否定的発話の差を明示的に知覚する。 ヒトの会話におけるマルチマッピング関係を管理するために,グループワイド二重サンプリングによる対照対話学習を強化した。
  論文  参考訳（メタデータ） (2020-09-16T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。