論文の概要: Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2109.06471v1
• Date: Tue, 14 Sep 2021 06:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:42:02.368827
• Title: Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization
• Title（参考訳）: 信頼できないサンプルの同定:ベイズ最適化によるオープンドメイン対話のためのデータフィルタリング
• Authors: Lei Shen, Haolan Zhan, Xin Shen, Hongshen Chen, Xiaofang Zhao and Xiaodan Zhu
• Abstract要約: オープンドメイン対話のためのデータフィルタリング手法を提案する。 トレーニングサンプルを品質基準で評価し、下位順にソートし、下位でそれらをフィルタリングします。 2つのデータセットに対する実験結果から,本手法は信頼できないサンプルを効果的に同定できることが示唆された。
• 参考スコア（独自算出の注目度）: 28.22184410167622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Being able to reply with a related, fluent, and informative response is an indispensable requirement for building high-quality conversational agents. In order to generate better responses, some approaches have been proposed, such as feeding extra information by collecting large-scale datasets with human annotations, designing neural conversational models (NCMs) with complex architecture and loss functions, or filtering out untrustworthy samples based on a dialogue attribute, e.g., Relatedness or Genericness. In this paper, we follow the third research branch and present a data filtering method for open-domain dialogues, which identifies untrustworthy samples from training data with a quality measure that linearly combines seven dialogue attributes. The attribute weights are obtained via Bayesian Optimization (BayesOpt) that aims to optimize an objective function for dialogue generation iteratively on the validation set. Then we score training samples with the quality measure, sort them in descending order, and filter out those at the bottom. Furthermore, to accelerate the "filter-train-evaluate" iterations involved in BayesOpt on large-scale datasets, we propose a training framework that integrates maximum likelihood estimation (MLE) and negative training method (NEG). The training method updates parameters of a trained NCMs on two small sets with newly maintained and removed samples, respectively. Specifically, MLE is applied to maximize the log-likelihood of newly maintained samples, while NEG is used to minimize the log-likelihood of newly removed ones. Experimental results on two datasets show that our method can effectively identify untrustworthy samples, and NCMs trained on the filtered datasets achieve better performance.
• Abstract（参考訳）: 関連があり、流動的で、情報的な応答で返信できることは、高品質な会話エージェントを構築する上で必須の要件である。 より優れた応答を生成するために、人間のアノテーションによる大規模データセットの収集による追加情報の提供、複雑なアーキテクチャと損失関数を備えた神経会話モデル(ncms)の設計、対話属性に基づく信頼できないサンプルのフィルタリング、など、いくつかのアプローチが提案されている。 本稿では,第3の研究部門に従い,訓練データから信頼できないサンプルを識別するオープンドメイン対話のためのデータフィルタリング手法と,7つの対話属性を線形に結合する品質尺度を提案する。 属性重みは、検証セット上で対話生成のための客観的関数を反復的に最適化することを目的としたベイズ最適化(bayesopt)によって得られる。 そして、トレーニングサンプルを品質測定値でスコア付けし、下降順にソートし、下降順にフィルタリングします。 さらに,BayesOptにおける「フィルタ-訓練-評価」イテレーションを大規模データセット上で高速化するために,最大推定(MLE)と負のトレーニング手法(NEG)を統合したトレーニングフレームワークを提案する。 訓練方法は, 新しく維持された2つの小集合について, 訓練したncmsのパラメータをそれぞれ更新する。 特に、MLEは、新しく維持されたサンプルのログ類似度を最大化するために適用され、NEGは、新しく削除されたサンプルのログ類似度を最小化するために使用される。 2つのデータセットにおける実験結果から,本手法は信頼できないサンプルを効果的に同定できることがわかった。

関連論文リスト

• RECOST: External Knowledge Guided Data-efficient Instruction Tuning [25.985023475991625]
  我々は、現在のデータ効率のよい命令チューニング手法は、元の命令チューニングデータセットの品質に大きく依存していると論じる。 我々は、外部知識ベースの再評価と多様性に一貫性のあるサンプリングを単一のパイプラインに統合する、textbfRECOSTと呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-27T09:47:36Z)
• Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
  低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
  論文  参考訳（メタデータ） (2024-02-21T02:45:46Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
  我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。 我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-19T16:25:50Z)
• A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
  MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。 トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。 提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-06T17:59:19Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Learning from Mistakes: Combining Ontologies via Self-Training for Dialogue Generation [6.221019624345408]
  タスク指向対話のための自然言語ジェネレータ(NLG)は通常、意味表現(MR)を入力とする。 新たにより大きく結合したオントロジーを作成し、NLGをトレーニングして、それをカバーする発話を生成します。 例えば、あるデータセットが家族にやさしい情報や評価情報があり、もう1つのデータセットが装飾とサービスの属性を持っている場合、私たちの目標は、家族にやさしい、評価、装飾、サービスの価値を実現する発話を生成できるオントロジーの組み合わせのためのNLGです。
  論文  参考訳（メタデータ） (2020-09-30T23:54:38Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。