論文の概要: Language models are not naysayers: An analysis of language models on
negation benchmarks
- arxiv url: http://arxiv.org/abs/2306.08189v1
- Date: Wed, 14 Jun 2023 01:16:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 20:44:49.003510
- Title: Language models are not naysayers: An analysis of language models on
negation benchmarks
- Title(参考訳): 言語モデルは否定者ではない:否定ベンチマークによる言語モデルの解析
- Authors: Thinh Hung Truong, Timothy Baldwin, Karin Verspoor, Trevor Cohn
- Abstract要約: 我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。
LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
- 参考スコア(独自算出の注目度): 58.32362243122714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negation has been shown to be a major bottleneck for masked language models,
such as BERT. However, whether this finding still holds for larger-sized
auto-regressive language models (``LLMs'') has not been studied
comprehensively. With the ever-increasing volume of research and applications
of LLMs, we take a step back to evaluate the ability of current-generation LLMs
to handle negation, a fundamental linguistic phenomenon that is central to
language understanding. We evaluate different LLMs -- including the open-source
GPT-neo, GPT-3, and InstructGPT -- against a wide range of negation benchmarks.
Through systematic experimentation with varying model sizes and prompts, we
show that LLMs have several limitations including insensitivity to the presence
of negation, an inability to capture the lexical semantics of negation, and a
failure to reason under negation.
- Abstract(参考訳): BERTのようなマスキング言語モデルでは、否定が大きなボトルネックであることが示されている。
しかし、この発見がより大きな自己回帰型言語モデル(``LLMs'')をまだ包括的に研究していない。
言語理解の中心となる基本的な言語現象である否定に対処する現在の世代のLSMの能力を評価するために,LLMの研究と応用の増大とともに一歩後退する。
我々は,オープンソースの GPT-neo や GPT-3, InstructGPT など,さまざまな LLM を,幅広い否定ベンチマークに対して評価する。
様々なモデルサイズとプロンプトを用いた系統的実験により, llmは否定の存在に対する無感性, 否定の語彙意味を捉えることができないこと, 否定下での推論に失敗することなど, いくつかの制限があることが示されている。
関連論文リスト
- Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models [54.18411645870683]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - NoMIRACL: Knowing When You Don't Know for Robust Multilingual
Retrieval-Augmented Generation [92.5132418788568]
Retrieval-augmented Generation (RAG) は、外部の知識ソースを活用して、事実の幻覚を減らすことで、大きな言語モデル(LLM)を出力する。
NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。
1) 幻覚率, 解答の幻覚傾向, 解答が非関連部分集合の通路に存在しない場合, および(ii) 誤差率, モデル不正確さを測定し, 関連する部分集合の通路を認識する。
論文 参考訳(メタデータ) (2023-12-18T17:18:04Z) - This is not a Dataset: A Large Negation Benchmark to Challenge Large
Language Models [4.017326849033009]
我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。
我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。
我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
論文 参考訳(メタデータ) (2023-10-24T15:38:21Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Can large language models generate salient negative statements? [18.577880767789097]
本研究では,大規模言語モデルによる実世界の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。
我々はゼロショットとkショットの制約のないプローブを用いてLSMを探索し、従来の否定生成法と比較した。
異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
論文 参考訳(メタデータ) (2023-05-26T09:13:59Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳(メタデータ) (2022-10-06T23:39:01Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳(メタデータ) (2022-05-09T02:41:11Z) - Generalized Quantifiers as a Source of Error in Multilingual NLU
Benchmarks [5.818232893255398]
我々は、言語に依存しない量化語のセマンティクスの表現に一般化量化理論を頼っている。
定量化器はNLUベンチマークにおいて広く普及しており,テスト時に発生する量化器は性能低下と関連していることがわかった。
マルチリンガルモデルは、不満足な量化子推論能力を示すが、英語以外の言語では必ずしも悪くはない。
論文 参考訳(メタデータ) (2022-04-22T10:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。