論文の概要: GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection?

• arxiv url: http://arxiv.org/abs/2402.15238v1
• Date: Fri, 23 Feb 2024 10:02:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 15:04:03.301936
• Title: GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection?
• Title（参考訳）: GPT-HateCheck:LLMはヘイト音声検出のためのより良い機能テストを書けるか?
• Authors: Yiping Jin, Leo Wanner, Alexander Shvets
• Abstract要約: HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
• 参考スコア（独自算出の注目度）: 55.20381279291041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online hate detection suffers from biases incurred in data sampling, annotation, and model pre-training. Therefore, measuring the averaged performance over all examples in held-out test data is inadequate. Instead, we must identify specific model weaknesses and be informed when it is more likely to fail. A recent proposal in this direction is HateCheck, a suite for testing fine-grained model functionalities on synthesized data generated using templates of the kind "You are just a [slur] to me." However, despite enabling more detailed diagnostic insights, the HateCheck test cases are often generic and have simplistic sentence structures that do not match the real-world data. To address this limitation, we propose GPT-HateCheck, a framework to generate more diverse and realistic functional tests from scratch by instructing large language models (LLMs). We employ an additional natural language inference (NLI) model to verify the generations. Crowd-sourced annotation demonstrates that the generated test cases are of high quality. Using the new functional tests, we can uncover model weaknesses that would be overlooked using the original HateCheck dataset.
• Abstract（参考訳）: オンラインヘイト検出は、データサンプリング、アノテーション、モデル事前トレーニングで発生するバイアスに悩まされる。 したがって、ホールドアウトテストデータの全例に対する平均パフォーマンスの測定は不十分である。 その代わり、特定のモデルの弱点を特定し、失敗する可能性が高まると知らせる必要があります。 この方向の最近の提案は、"you are just a [slur] to me"のようなテンプレートを使って生成された合成データ上で、きめ細かいモデルの機能をテストするためのスイートであるhatcheckである。 しかし、より詳細な診断の洞察が可能であるにもかかわらず、HateCheckテストケースは多くの場合、現実のデータと一致しない単純な文構造を持つ。 この制限に対処するため,GPT-HateCheckを提案する。GPT-HateCheckは,大規模言語モデル(LLM)を指導することにより,より多様で現実的な機能テストを生成するフレームワークである。 我々は、世代を検証するために追加の自然言語推論(NLI)モデルを用いる。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。 新しい機能テストを使用することで、オリジナルのhattcheckデータセットで見過ごされるモデルの弱点を明らかにすることができる。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models [4.318319522015101]
  既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。 ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。 大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
  論文  参考訳（メタデータ） (2023-10-10T05:30:12Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• HateCheckHIn: Evaluating Hindi Hate Speech Detection Models [6.52974752091861]
  マルチリンガルヘイトは 自動検出の大きな課題です 評価のための機能セットを紹介する。 Hindiをベース言語として考えると、各機能のテストケースを作成します。
  論文  参考訳（メタデータ） (2022-04-30T19:09:09Z)
• NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance [3.7024660695776066]
  データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。 特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。 モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
  論文  参考訳（メタデータ） (2021-04-10T12:28:07Z)
• HateCheck: Functional Tests for Hate Speech Detection Models [3.4938484663205776]
  HateCheckはヘイトスピーチ検出モデルのための最初の機能テストスイートである。 我々は、過去の研究を見直して動機づける29のモデル機能を指定する。 我々は,最先端の変圧器検出モデルと商用モデルの試験を行い,致命的なモデルの弱点を明らかにする。
  論文  参考訳（メタデータ） (2020-12-31T13:44:56Z)
• Debugging Tests for Model Explanations [18.073554618753395]
  テストされたメソッドは、急激なバックグラウンドバグを診断することができるが、誤ってラベル付けされたトレーニング例を決定的に識別することはできない。 被験者は属性を用いて欠陥モデルを特定するのに失敗するが、主にモデル予測に頼っている。
  論文  参考訳（メタデータ） (2020-11-10T22:23:25Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。