論文の概要: Large Language Models are Skeptics: False Negative Problem of Input-conflicting Hallucination

• arxiv url: http://arxiv.org/abs/2406.13929v1
• Date: Thu, 20 Jun 2024 01:53:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 17:46:37.868440
• Title: Large Language Models are Skeptics: False Negative Problem of Input-conflicting Hallucination
• Title（参考訳）: 大規模言語モデルは懐疑的である:入力競合型幻覚の偽否定的問題
• Authors: Jongyoon Song, Sangwon Yu, Sungroh Yoon,
• Abstract要約: 我々は入力強調幻覚を誘発する新しい偏見のカテゴリーを同定する。 大規模言語モデル(LLM)が入力コンテキストの内容と一致しない応答を生成することを示す。
• 参考スコア（独自算出の注目度）: 36.01680298955394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we identify a new category of bias that induces input-conflicting hallucinations, where large language models (LLMs) generate responses inconsistent with the content of the input context. This issue we have termed the false negative problem refers to the phenomenon where LLMs are predisposed to return negative judgments when assessing the correctness of a statement given the context. In experiments involving pairs of statements that contain the same information but have contradictory factual directions, we observe that LLMs exhibit a bias toward false negatives. Specifically, the model presents greater overconfidence when responding with False. Furthermore, we analyze the relationship between the false negative problem and context and query rewriting and observe that both effectively tackle false negatives in LLMs.
• Abstract（参考訳）: 本稿では,大言語モデル (LLM) が入力コンテキストの内容と一致しない応答を生成するという,入力競合幻覚を誘発する新たなバイアスのカテゴリを同定する。 この問題は、文脈が与えられた文の正当性を評価する際に、LCMが負の判断を返すことを前提とする現象を、偽陰性問題と呼ぶ。 同じ情報を含むが矛盾する事実方向を持つ文のペアを含む実験において、LLMが偽陰性に対して偏見を示すことが観察された。 具体的には、モデルがFalseに応答すると、より自信が増す。 さらに, 疑似負問題と文脈, 問合せ書き換えの関係を解析し, LLMにおける疑似負問題に効果的に取り組むことを観察する。

関連論文リスト

• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• This is not a Dataset: A Large Negation Benchmark to Challenge Large Language Models [4.017326849033009]
  我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。 我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。 我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
  論文  参考訳（メタデータ） (2023-10-24T15:38:21Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Can large language models generate salient negative statements? [18.577880767789097]
  本研究では,大規模言語モデルによる実世界の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。 我々はゼロショットとkショットの制約のないプローブを用いてLSMを探索し、従来の否定生成法と比較した。 異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
  論文  参考訳（メタデータ） (2023-05-26T09:13:59Z)
• LM vs LM: Detecting Factual Errors via Cross Examination [22.50837561382647]
  言語モデル(LM)の事実性評価フレームワークを提案する。 私たちのキーとなる考え方は、間違ったクレームがモデルが生成する他のクレームと矛盾する可能性があるということです。 我々は,最近の複数のLMが4つのベンチマークで行った事実的主張に対して,本手法を実証的に評価した。
  論文  参考訳（メタデータ） (2023-05-22T17:42:14Z)
• Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge [22.543345304998258]
  大規模言語モデル(LLM)は、肯定的な知識を保存し活用する能力について広く研究されている。 否定的な知識、例えば「イオンは海に生息しない」は、世界でも広く知られているが、テキストで明確に言及されることはめったにない。 本研究は,LLMの負のコモンセンス知識に対する能力について検討する。
  論文  参考訳（メタデータ） (2023-05-10T08:35:50Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。