論文の概要: SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists

• arxiv url: http://arxiv.org/abs/2408.17437v1
• Date: Fri, 30 Aug 2024 17:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:36:36.936006
• Title: SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists
• Title（参考訳）: SyntheVAL: 合成チェックリストを用いたNLPモデルのハイブリッド動作試験
• Authors: Raoyuan Zhao, Abdullatif Köksal, Yihong Liu, Leonie Weissweiler, Anna Korhonen, Hinrich Schütze,
• Abstract要約: 我々は,NLPモデルの包括的評価のために,SyntheVALを提案する。 最後の段階では、人間の専門家が困難な例を調査し、手動でテンプレートを設計し、タスク固有のモデルが一貫して示す障害の種類を特定します。 我々は、感情分析と有害言語検出という2つの分類課題にSynTHEVALを適用し、これらの課題における強力なモデルの弱点を特定するのに、我々のフレームワークが有効であることを示す。
• 参考スコア（独自算出の注目度）: 59.08999823652293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional benchmarking in NLP typically involves using static held-out test sets. However, this approach often results in an overestimation of performance and lacks the ability to offer comprehensive, interpretable, and dynamic assessments of NLP models. Recently, works like DynaBench (Kiela et al., 2021) and CheckList (Ribeiro et al., 2020) have addressed these limitations through behavioral testing of NLP models with test types generated by a multistep human-annotated pipeline. Unfortunately, manually creating a variety of test types requires much human labor, often at prohibitive cost. In this work, we propose SYNTHEVAL, a hybrid behavioral testing framework that leverages large language models (LLMs) to generate a wide range of test types for a comprehensive evaluation of NLP models. SYNTHEVAL first generates sentences via LLMs using controlled generation, and then identifies challenging examples by comparing the predictions made by LLMs with task-specific NLP models. In the last stage, human experts investigate the challenging examples, manually design templates, and identify the types of failures the taskspecific models consistently exhibit. We apply SYNTHEVAL to two classification tasks, sentiment analysis and toxic language detection, and show that our framework is effective in identifying weaknesses of strong models on these tasks. We share our code in https://github.com/Loreley99/SynthEval_CheckList.
• Abstract（参考訳）: NLPの従来のベンチマークは、通常静的なホールドアウトテストセットを使用する。 しかし、このアプローチはしばしば性能を過大評価し、NLPモデルの包括的、解釈可能、動的評価を提供する能力に欠ける。 近年、DynaBench(Kiela et al , 2021)やCheckList(Ribeiro et al , 2020)のような作業は、マルチステップの人間アノテーションパイプラインによって生成されたテストタイプを備えたNLPモデルの振る舞いテストを通じて、これらの制限に対処している。 残念ながら、さまざまなテストタイプを手動で作成するには多くの人的労力が必要で、しばしば禁止コストがかかる。 本研究では,大規模言語モデル(LLM)を活用するハイブリッドな振る舞いテストフレームワークであるSyntheVALを提案し,NLPモデルの包括的評価を行う。 SynTHEVAL はまず制御された生成法を用いて LLM を用いて文を生成し,次にタスク固有の NLP モデルと LLM による予測を比較して,難解な例を識別する。 最後の段階では、人間の専門家が困難な例を調査し、手動でテンプレートを設計し、タスク固有のモデルが一貫して示す障害の種類を特定します。 我々は、感情分析と有害言語検出という2つの分類課題にSynTHEVALを適用し、これらの課題における強力なモデルの弱点を特定するのに、我々のフレームワークが有効であることを示す。 コードをhttps://github.com/Loreley99/SynthEval_CheckListで共有しています。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation [15.254775341371364]
  ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-05-08T03:57:45Z)
• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Intergenerational Test Generation for Natural Language Processing Applications [16.63835131985415]
  各種NLPアプリケーションの誤動作を検出する自動テスト生成手法を提案する。 この手法をNLPLegoに実装し、シード文の可能性を完全に活用する。 NLPLegoは3つのタスクで約95.7%の精度で1,732, 5301, 261,879の誤った行動を検出することに成功した。
  論文  参考訳（メタデータ） (2023-02-21T07:57:59Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Beyond Accuracy: Behavioral Testing of NLP models with CheckList [66.42971817954806]
  CheckList は NLP モデルをテストするためのタスクに依存しない方法論である。 CheckListには、包括的なテストのアイデアを促進する一般的な言語機能とテストタイプのマトリックスが含まれている。 ユーザスタディでは、CheckListのNLP実践者が2倍の数のテストを作成し、それのないユーザの約3倍のバグを発見しました。
  論文  参考訳（メタデータ） (2020-05-08T15:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。