論文の概要: longhorns at DADC 2022: How many linguists does it take to fool a Question Answering model? A systematic approach to adversarial attacks

• arxiv url: http://arxiv.org/abs/2206.14729v1
• Date: Wed, 29 Jun 2022 15:52:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:59:00.531679
• Title: longhorns at DADC 2022: How many linguists does it take to fool a Question Answering model? A systematic approach to adversarial attacks
• Title（参考訳）: longhorns at dadc 2022: 質問応答モデルを騙すのに、言語学者は何人必要か? 敵攻撃に対する体系的アプローチ
• Authors: Venelin Kovatchev, Trina Chatterjee, Venkata S Govindarajan, Jifan Chen, Eunsol Choi, Gabriella Chronis, Anubrata Das, Katrin Erk, Matthew Lease, Junyi Jessy Li, Yating Wu, Kyle Mahowald
• Abstract要約: The First Workshop on Dynamic Adversarial Data Collection (DADC) のタスク1におけるチーム「ロングホーン」のアプローチについて述べる。 私たちのチームはまず、モデルエラー率62%で完了しました。
• 参考スコア（独自算出の注目度）: 45.451337461348906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing methods to adversarially challenge NLP systems is a promising avenue for improving both model performance and interpretability. Here, we describe the approach of the team "longhorns" on Task 1 of the The First Workshop on Dynamic Adversarial Data Collection (DADC), which asked teams to manually fool a model on an Extractive Question Answering task. Our team finished first, with a model error rate of 62%. We advocate for a systematic, linguistically informed approach to formulating adversarial questions, and we describe the results of our pilot experiments, as well as our official submission.
• Abstract（参考訳）: NLPシステムに逆らう手法の開発は、モデル性能と解釈可能性の両方を改善する上で有望な方法である。 The First Workshop on Dynamic Adversarial Data Collection (DADC) の第1タスクでは,抽出質問回答タスクのモデルを手動で騙すという,チームの“ロングホーン(longhorns)”のアプローチについて解説する。 私たちのチームはまず、モデルエラー率62%で終えました。 我々は,敵対的質問を定式化するための体系的,言語的インフォームドアプローチを提唱し,パイロット実験の結果と公式な提案について述べる。

関連論文リスト

• Improving Multi-Domain Task-Oriented Dialogue System with Offline Reinforcement Learning [5.18578230548982]
  タスク指向対話(TOD)システムは、対話を通じてユーザ定義タスクを達成するように設計されている。 本稿では,統合事前学習型言語モデルであるGPT2をベースモデルとして利用するTODシステムを提案する。 本モデルでは, ベースラインと比較して情報提供率を1.60%, 成功率を3.17%向上させる。
  論文  参考訳（メタデータ） (2024-11-08T05:43:40Z)
• STaR-GATE: Teaching Language Models to Ask Clarifying Questions [32.71841885198304]
  有用な質問を生成するために,言語モデルの自己改善能力について検討する。 25,500のユニークなペルソナ・タスク・プロンプトの合成データセットを生成する。 より良い質問をするために言語モデルを教えることは、よりパーソナライズされた回答につながる。
  論文  参考訳（メタデータ） (2024-03-28T05:35:22Z)
• Training Generative Question-Answering on Synthetic Data Obtained from an Instruct-tuned Model [4.515527639264234]
  本稿では,質問応答系を学習するための簡易かつ費用対効果の高いデータ合成手法を提案する。 トレーニングでは、微調整のGPTモデルは英語のような資源に富む言語では一般的であるが、十分な問合せペアが不足しているため、英語以外の言語では困難になる。
  論文  参考訳（メタデータ） (2023-10-12T06:46:07Z)
• Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement [50.62461749446111]
  Self-Polish(SP)は、与えられた問題を徐々に洗練し、より理解しやすく解けるように誘導することによって、モデルの推論を促進する新しい方法である。 SPは、CoTのような答え/推論サイドの他のすべてのプロンプトメソッドであり、最先端の技術とのシームレスな統合を可能にし、さらなる改善を可能にします。
  論文  参考訳（メタデータ） (2023-05-23T19:58:30Z)
• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• TASA: Deceiving Question Answering Models by Twin Answer Sentences Attack [93.50174324435321]
  本稿では,質問応答(QA)モデルに対する敵対的攻撃手法であるTASA(Twin Answer Sentences Attack)を提案する。 TASAは、金の回答を維持しながら、流動的で文法的な逆境を生み出す。
  論文  参考訳（メタデータ） (2022-10-27T07:16:30Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning [45.067001062192844]
  事実の知識の完成と検証によって導かれる言語モデル事前トレーニングフレームワークを提示する。 ゼロショットクローゼ型質問応答タスクのセットであるLAMAの実験結果は、私たちのモデルが従来の訓練済み言語モデルよりも豊富な事実知識を含んでいることを示しています。
  論文  参考訳（メタデータ） (2020-12-07T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。