論文の概要: Can large language models generate salient negative statements?
- arxiv url: http://arxiv.org/abs/2305.16755v2
- Date: Thu, 21 Sep 2023 13:36:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 19:26:30.981337
- Title: Can large language models generate salient negative statements?
- Title(参考訳): 大規模言語モデルは正負の文を生成することができるか?
- Authors: Hiba Arnaout, Simon Razniewski
- Abstract要約: 本研究では,大規模言語モデルによる実世界の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。
我々はゼロショットとkショットの制約のないプローブを用いてLSMを探索し、従来の否定生成法と比較した。
異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
- 参考スコア(独自算出の注目度): 18.577880767789097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We examine the ability of large language models (LLMs) to generate salient
(interesting) negative statements about real-world entities; an emerging
research topic of the last few years. We probe the LLMs using zero- and k-shot
unconstrained probes, and compare with traditional methods for negation
generation, i.e., pattern-based textual extractions and knowledge-graph-based
inferences, as well as crowdsourced gold statements. We measure the correctness
and salience of the generated lists about subjects from different domains. Our
evaluation shows that guided probes do in fact improve the quality of generated
negatives, compared to the zero-shot variant. Nevertheless, using both prompts,
LLMs still struggle with the notion of factuality of negatives, frequently
generating many ambiguous statements, or statements with negative keywords but
a positive meaning.
- Abstract(参考訳): 我々は,大規模言語モデル (LLM) が,現実の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。
我々は,ゼロショットとkショットの非拘束プローブを用いてllmを探索し,従来の否定生成法,すなわちパターンに基づくテキスト抽出と知識グラフに基づく推論,およびクラウドソーシングによるゴールドステートメントと比較した。
異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
評価の結果, 誘導型プローブはゼロショット型に比べて, 生成したネガの品質が向上することがわかった。
それでも、両方のプロンプトを用いることで、LLMは否定の事実性の概念に苦慮し、多くの曖昧な文や否定的なキーワードを持つ文を頻繁に生成するが、肯定的な意味を持つ。
関連論文リスト
- Generating Enhanced Negatives for Training Language-Based Object
Detectors [89.9037039320539]
我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。
具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。
論文 参考訳(メタデータ) (2023-12-29T23:04:00Z) - This is not a Dataset: A Large Negation Benchmark to Challenge Large
Language Models [4.017326849033009]
我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。
我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。
我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
論文 参考訳(メタデータ) (2023-10-24T15:38:21Z) - Language models are not naysayers: An analysis of language models on
negation benchmarks [58.32362243122714]
我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。
LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
論文 参考訳(メタデータ) (2023-06-14T01:16:37Z) - Say What You Mean! Large Language Models Speak Too Positively about
Negative Commonsense Knowledge [22.543345304998258]
大規模言語モデル(LLM)は、肯定的な知識を保存し活用する能力について広く研究されている。
否定的な知識、例えば「イオンは海に生息しない」は、世界でも広く知られているが、テキストで明確に言及されることはめったにない。
本研究は,LLMの負のコモンセンス知識に対する能力について検討する。
論文 参考訳(メタデータ) (2023-05-10T08:35:50Z) - Language Model Pre-training on True Negatives [109.73819321246062]
差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。
既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。
我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
論文 参考訳(メタデータ) (2022-12-01T12:24:19Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳(メタデータ) (2022-10-06T23:39:01Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳(メタデータ) (2022-05-09T02:41:11Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳(メタデータ) (2021-05-07T21:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。