論文の概要: Using Natural Language Explanations to Improve Robustness of In-context
Learning for Natural Language Inference
- arxiv url: http://arxiv.org/abs/2311.07556v1
- Date: Mon, 13 Nov 2023 18:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 12:55:44.599943
- Title: Using Natural Language Explanations to Improve Robustness of In-context
Learning for Natural Language Inference
- Title(参考訳): 自然言語記述を用いた自然言語推論における文脈内学習のロバスト性向上
- Authors: Xuanli He, Yuxiang Wu, Oana-Maria Camburu, Pasquale Minervini, Pontus
Stenetorp
- Abstract要約: 大規模言語モデル(LLM)は、タスク固有のプロンプトや例によって促進される、コンテキスト内学習(ICL)を通じて様々なタスクに優れる。
ICLを自然言語説明法(NLE)で拡張すると性能が向上する(これをX-ICLと呼ぶ)。
本研究では,X-ICLが7つの逆数および挑戦的な自然言語推論データセットからなるスイート上でのLLMの堅牢性を向上させることができるかを検討する。
- 参考スコア(独自算出の注目度): 37.742836659189095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have demonstrated that large language models (LLMs) excel in
diverse tasks through in-context learning (ICL) facilitated by task-specific
prompts and examples. However, the existing literature shows that ICL
encounters performance deterioration when exposed to adversarial inputs.
Enhanced performance has been observed when ICL is augmented with natural
language explanations (NLEs) (we refer to it as X-ICL). Thus, this work
investigates whether X-ICL can improve the robustness of LLMs on a suite of
seven adversarial and challenging natural language inference datasets.
Moreover, we introduce a new approach to X-ICL by prompting an LLM (ChatGPT in
our case) with few human-generated NLEs to produce further NLEs (we call it
ChatGPT few-shot), which we show superior to both ChatGPT zero-shot and
human-generated NLEs alone. We evaluate five popular LLMs (GPT3.5-turbo,
LLaMa2, Vicuna, Zephyr, Mistral) and show that X-ICL with ChatGPT few-shot
yields over 6% improvement over ICL. Furthermore, while prompt selection
strategies were previously shown to significantly improve ICL on
in-distribution test sets, we show that these strategies do not match the
efficacy of the X-ICL paradigm in robustness-oriented evaluations.
- Abstract(参考訳): 近年,大規模言語モデル (LLM) が,タスク固有のプロンプトや例によって促進されるインコンテキスト学習 (ICL) を通じて,多様なタスクに優れることが実証されている。
しかし, 既存の文献から, iclは逆入力により性能が低下することが示された。
ICLを自然言語説明法(NLE)で拡張すると性能が向上する(X-ICLと呼ぶ)。
そこで本研究では,7組の自然言語推論データセットにおいて,x-iclがllmのロバスト性を向上させることができるか検討する。
また,人間の生成NLEの少ないLCM(ChatGPT)にさらなるNLEの生成を促すことで,X-ICLに新たなアプローチを導入し,ChatGPTゼロショットと人為的NLEの双方よりも優れていることを示す。
我々は,5つのLLM (GPT3.5-turbo, LLaMa2, Vicuna, Zephyr, Mistral) を評価し,ChatGPTを用いたX-ICLはICLよりも6%以上向上することを示した。
さらに, 早期選択戦略は, 分散テストセットのICLを著しく改善することを示したが, これらの戦略はロバストネス指向評価におけるX-ICLパラダイムの有効性と一致しないことを示した。
関連論文リスト
- Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - Self-Augmented In-Context Learning for Unsupervised Word Translation [81.6546357879259]
大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。
教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。
提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-15T15:43:05Z) - Learning Shortcuts: On the Misleading Promise of NLU in Language Models [4.8951183832371]
大規模言語モデル(LLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。
近年の研究では、LLMはタスクの実行時にショートカットを利用することが多く、その決定規則の一般化性に欠けると同時に、性能向上の錯覚を生んでいることが判明している。
論文 参考訳(メタデータ) (2024-01-17T21:55:15Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Language Model Self-improvement by Reinforcement Learning Contemplation [13.152789365858812]
本稿では,LanguageModel Self-Improvement by Reinforcement Learning Contemplation (SIRLC) という,教師なしの新しい手法を提案する。
学生として、モデルはラベルのない質問に対する回答を生成し、教師として、生成されたテキストを評価し、それに応じてスコアを割り当てる。
我々は,SIRLCを推論問題,テキスト生成,機械翻訳など,様々なNLPタスクに適用できることを実証した。
論文 参考訳(メタデータ) (2023-05-23T19:25:52Z) - Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
言語間要約(CLS)は、異なる対象言語で要約を生成する。
近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。
本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
論文 参考訳(メタデータ) (2023-02-28T01:27:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。