論文の概要: Strong hallucinations from negation and how to fix them

• arxiv url: http://arxiv.org/abs/2402.10543v1
• Date: Fri, 16 Feb 2024 10:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 16:51:45.664137
• Title: Strong hallucinations from negation and how to fix them
• Title（参考訳）: 否定からの強い幻覚とその解決法
• Authors: Nicholas Asher and Swarnadeep Bhar
• Abstract要約: 提案手法は,疎い負のデータに対する訓練を必要とせずに,クローゼプロンプトや否定を伴う自然言語推論タスクにおけるモデル性能を向上させることを示す。 このような応答をテキストストロング幻覚と呼び、論理演算子の内部表現とそれらの表現からの出力に対するLMの計算からそれに従うことを証明する。
• 参考スコア（独自算出の注目度）: 2.50194939587674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite great performance on many tasks, language models (LMs) still struggle with reasoning, sometimes providing responses that cannot possibly be true because they stem from logical incoherence. We call such responses \textit{strong hallucinations} and prove that they follow from an LM's computation of its internal representations for logical operators and outputs from those representations. Focusing on negation, we provide a novel solution in which negation is treated not as another element of a latent representation, but as \textit{an operation over an LM's latent representations that constrains how they may evolve}. We show that our approach improves model performance in cloze prompting and natural language inference tasks with negation without requiring training on sparse negative data.
• Abstract（参考訳）: 多くのタスクで大きなパフォーマンスを誇っているにもかかわらず、言語モデル(lms)は推論に苦慮し、論理的な一貫性に起因して真であるはずのない応答を提供することもある。 このような応答をtextit{strong hallucinations} と呼び、論理演算子に対する内部表現のLMの計算とそれらの表現からの出力に従うことを証明する。 否定に着目して、否定を潜在表現の別の要素として扱うのではなく、それらがどのように進化するかを制限するLMの潜在表現上の \textit{an 演算として扱う新しい解を提供する。 提案手法は,クローゼプロンプトおよび自然言語推論タスクにおけるモデル性能を,ばらばらな負データに対するトレーニングを必要とせずに改善することを示す。

関連論文リスト

• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• This is not a Dataset: A Large Negation Benchmark to Challenge Large Language Models [4.017326849033009]
  我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。 我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。 我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
  論文  参考訳（メタデータ） (2023-10-24T15:38:21Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about Negation [21.56001677478673]
  本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。 CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。 CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
  論文  参考訳（メタデータ） (2022-11-01T06:10:26Z)
• Leveraging Affirmative Interpretations from Negation Improves Natural Language Understanding [10.440501875161003]
  否定は多くの自然言語理解タスクにおいて課題となる。 3つの自然言語理解タスクに対して,このようなメリットモデルを行うことが示される。 我々は,否定文を付与したプラグアンドプレイ型ニューラルジェネレータを構築し,肯定的な解釈を生成する。
  論文  参考訳（メタデータ） (2022-10-26T05:22:27Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• Learning Disentangled Representations of Negation and Uncertainty [25.11863604063283]
  言語理論は、否定と不確実性の表現は意味的に互いに独立であり、それらが修正する内容である、と仮定している。 本研究では,変分オートエンコーダを用いて否定,不確実性,内容の表現をアンタングル化しようとする。
  論文  参考訳（メタデータ） (2022-04-01T15:12:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。