論文の概要: longhorns at DADC 2022: How many linguists does it take to fool a
Question Answering model? A systematic approach to adversarial attacks
- arxiv url: http://arxiv.org/abs/2206.14729v1
- Date: Wed, 29 Jun 2022 15:52:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-30 19:59:00.531679
- Title: longhorns at DADC 2022: How many linguists does it take to fool a
Question Answering model? A systematic approach to adversarial attacks
- Title(参考訳): longhorns at dadc 2022: 質問応答モデルを騙すのに、言語学者は何人必要か?
敵攻撃に対する体系的アプローチ
- Authors: Venelin Kovatchev, Trina Chatterjee, Venkata S Govindarajan, Jifan
Chen, Eunsol Choi, Gabriella Chronis, Anubrata Das, Katrin Erk, Matthew
Lease, Junyi Jessy Li, Yating Wu, Kyle Mahowald
- Abstract要約: The First Workshop on Dynamic Adversarial Data Collection (DADC) のタスク1におけるチーム「ロングホーン」のアプローチについて述べる。
私たちのチームはまず、モデルエラー率62%で完了しました。
- 参考スコア(独自算出の注目度): 45.451337461348906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing methods to adversarially challenge NLP systems is a promising
avenue for improving both model performance and interpretability. Here, we
describe the approach of the team "longhorns" on Task 1 of the The First
Workshop on Dynamic Adversarial Data Collection (DADC), which asked teams to
manually fool a model on an Extractive Question Answering task. Our team
finished first, with a model error rate of 62%. We advocate for a systematic,
linguistically informed approach to formulating adversarial questions, and we
describe the results of our pilot experiments, as well as our official
submission.
- Abstract(参考訳): NLPシステムに逆らう手法の開発は、モデル性能と解釈可能性の両方を改善する上で有望な方法である。
The First Workshop on Dynamic Adversarial Data Collection (DADC) の第1タスクでは,抽出質問回答タスクのモデルを手動で騙すという,チームの“ロングホーン(longhorns)”のアプローチについて解説する。
私たちのチームはまず、モデルエラー率62%で終えました。
我々は,敵対的質問を定式化するための体系的,言語的インフォームドアプローチを提唱し,パイロット実験の結果と公式な提案について述べる。
関連論文リスト
- R-Tuning: Teaching Large Language Models to Refuse Unknown Questions [68.60002086172133]
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
このアプローチは、まずパラメトリック知識と命令チューニングデータの間の知識ギャップを識別することによって定式化される。
実験により、この新しい命令チューニングアプローチは、既知の質問に答えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z) - Training Generative Question-Answering on Synthetic Data Obtained from
an Instruct-tuned Model [4.515527639264234]
本稿では,質問応答系を学習するための簡易かつ費用対効果の高いデータ合成手法を提案する。
トレーニングでは、微調整のGPTモデルは英語のような資源に富む言語では一般的であるが、十分な問合せペアが不足しているため、英語以外の言語では困難になる。
論文 参考訳(メタデータ) (2023-10-12T06:46:07Z) - HANS, are you clever? Clever Hans Effect Analysis of Neural Systems [1.9217872171227137]
大規模言語モデル(It-LLM)は、認知状態、意図、そしてすべての人々の反応を推論する優れた能力を示しており、人間は日々の社会的相互作用を効果的にガイドし理解することができる。
モデル能力の確固たる評価を構築するために、MCQ(Multiple-choice Question)ベンチマークがいくつか提案されている。
しかし、初期の研究は、I-LLMに固有の「順序バイアス」があることを示しており、適切な評価に挑戦している。
論文 参考訳(メタデータ) (2023-09-21T20:52:18Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳(メタデータ) (2023-02-18T09:26:35Z) - TASA: Deceiving Question Answering Models by Twin Answer Sentences
Attack [93.50174324435321]
本稿では,質問応答(QA)モデルに対する敵対的攻撃手法であるTASA(Twin Answer Sentences Attack)を提案する。
TASAは、金の回答を維持しながら、流動的で文法的な逆境を生み出す。
論文 参考訳(メタデータ) (2022-10-27T07:16:30Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳(メタデータ) (2022-05-10T19:32:20Z) - A Study on Prompt-based Few-Shot Learning Methods for Belief State
Tracking in Task-oriented Dialog Systems [10.024834304960846]
タスク指向対話システムにおける対話的状態追跡問題に取り組む。
この問題に対する最近のアプローチでは、Transformerベースのモデルが大きな成果を上げている。
対話的信念状態追跡のためのプロンプトベース数ショット学習について検討する。
論文 参考訳(メタデータ) (2022-04-18T05:29:54Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - KgPLM: Knowledge-guided Language Model Pre-training via Generative and
Discriminative Learning [45.067001062192844]
事実の知識の完成と検証によって導かれる言語モデル事前トレーニングフレームワークを提示する。
ゼロショットクローゼ型質問応答タスクのセットであるLAMAの実験結果は、私たちのモデルが従来の訓練済み言語モデルよりも豊富な事実知識を含んでいることを示しています。
論文 参考訳(メタデータ) (2020-12-07T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。