論文の概要: Learning to love diligent trolls: Accounting for rater effects in the dialogue safety task

• arxiv url: http://arxiv.org/abs/2310.19271v1
• Date: Mon, 30 Oct 2023 05:08:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 21:33:51.826602
• Title: Learning to love diligent trolls: Accounting for rater effects in the dialogue safety task
• Title（参考訳）: 勤勉トロールの愛への学習--対話安全タスクにおけるレーダ効果の会計
• Authors: Michael John Ilagan
• Abstract要約: トロールは間違ったラベルでトレーニング例を提供する。 トレーニングデータを削除するために、以前の作業では、ユーザ集約型クロスバリデーション(CV)エラーの高いトレーニング例を取り除いた。 自動エッセイスコアリング(AES)における方法論にインスパイアされたソリューションを提案する。複数のユーザがそれぞれの発話を評価し、次にLCA(Latent class analysis)を行い、正しいラベルを推測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chatbots have the risk of generating offensive utterances, which must be avoided. Post-deployment, one way for a chatbot to continuously improve is to source utterance/label pairs from feedback by live users. However, among users are trolls, who provide training examples with incorrect labels. To de-troll training data, previous work removed training examples that have high user-aggregated cross-validation (CV) error. However, CV is expensive; and in a coordinated attack, CV may be overwhelmed by trolls in number and in consistency among themselves. In the present work, I address both limitations by proposing a solution inspired by methodology in automated essay scoring (AES): have multiple users rate each utterance, then perform latent class analysis (LCA) to infer correct labels. As it does not require GPU computations, LCA is inexpensive. In experiments, I found that the AES-like solution can infer training labels with high accuracy when trolls are consistent, even when trolls are the majority.
• Abstract（参考訳）: チャットボットは攻撃的な発話を発生させるリスクがあり、避けなければならない。 デプロイ後、チャットボットを継続的に改善する方法の1つは、ライブユーザからのフィードバックから発話/ラベルペアをソースすることだ。 しかし、ユーザの中には、間違ったラベルでトレーニング例を提供するトロールがいる。 ロールオフトレーニングデータには、ユーザ集約クロスバリデーション(cv)エラーの高いトレーニング例が削除されている。 しかし、CVは高価であり、協調攻撃においては、CVはトロルの数と一貫性に圧倒される可能性がある。 本研究は,自動エッセイ評価(AES)における方法論にインスパイアされたソリューションを提案することにより,両方の制約に対処する。 GPU計算を必要としないため、LCAは安価である。 実験では, トロルが多数である場合でも, AESライクなソリューションは, トロルが一貫した場合には高い精度でトレーニングラベルを推測できることがわかった。

関連論文リスト

• Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language Models [0.0]
  混合コード低リソース言語におけるヘイトスピーチ検出は、大規模言語モデルの使用が有益であることが証明された活発な問題領域である。 そこで本研究では,100件のYouTubeコメントのデータセットを作成した。 すべてのアプローチにおいて、双方向自動回帰変換器(BART)を用いたゼロショット分類と、生成事前学習変換器3(ChatGPT-3)を用いた少数ショットプロンプトが最適である。
  論文  参考訳（メタデータ） (2024-03-04T15:27:49Z)
• PEDANTS: Cheap but Effective and Interpretable Answer Equivalence [10.367359022491181]
  我々は,Triviaコミュニティで採用されているマシンQAを評価するために,ルーリックとデータセットを提供する。 また、正確なマッチングとニューラルメソッド(BERTScore)よりも安定な、効率的で解釈可能なQA評価を提案する。
  論文  参考訳（メタデータ） (2024-02-17T01:56:19Z)
• Learning from Flawed Data: Weakly Supervised Automatic Speech Recognition [30.544499309503863]
  自動音声認識(ASR)システムの訓練には、大量の精度の高いペアデータが必要である。 人間のアノテーションは通常 "non-verbatim" の転写を行います。 オムニ時間分類(Omni-temporal Classification,OTC)は,ラベルの不確かさを明確に組み込んだ訓練基準である。
  論文  参考訳（メタデータ） (2023-09-26T12:58:40Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)
• On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
  Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。 提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
  論文  参考訳（メタデータ） (2022-06-29T22:01:29Z)
• HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations [38.95985439093335]
  ユーザの離脱を検出するための既存の作業は、通常、多くのダイアログサンプルを手作業でラベル付けする必要がある。 本稿では,学習データアノテーションプロセスを再編成する,効率的なアノテーションフレームワークHERALDを提案する。 実験の結果,HERALDはアノテーション効率を大幅に向上し,2つのダイアログコーパスにおいて86%のユーザ解離検出精度を実現することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T01:09:55Z)
• On the Importance of Adaptive Data Collection for Extremely Imbalanced Pairwise Tasks [94.23884467360521]
  我々は、QQPとWikiQAでトレーニングされた最先端技術モデルが、現実的に不均衡なテストデータで評価された場合、それぞれ平均精度が2.4%しか持たないことを示した。 より有益なネガティブな例でバランスのとれたトレーニングデータを作成することで、アクティブラーニングは平均精度をQQPで32.5%、WikiQAで20.1%に大幅に改善する。
  論文  参考訳（メタデータ） (2020-10-10T21:56:27Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。