論文の概要: LLMs Struggle to Reject False Presuppositions when Misinformation Stakes are High

• arxiv url: http://arxiv.org/abs/2505.22354v1
• Date: Wed, 28 May 2025 13:35:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.631156
• Title: LLMs Struggle to Reject False Presuppositions when Misinformation Stakes are High
• Title（参考訳）: 誤報確率が高い場合, LLMは偽の前提条件を無視する
• Authors: Judith Sieker, Clara Lachenmaier, Sina Zarrieß,
• Abstract要約: 仮定は、与えられた情報を微妙に導入し、疑わしい情報や偽情報を埋め込むのに非常に効果的である。 このことは、LLMが人間のように、偽の前提として導入された誤解を招く仮定を発見・修正できないのではないかという懸念を提起する。
• 参考スコア（独自算出の注目度）: 7.9042053398943075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper examines how LLMs handle false presuppositions and whether certain linguistic factors influence their responses to falsely presupposed content. Presuppositions subtly introduce information as given, making them highly effective at embedding disputable or false information. This raises concerns about whether LLMs, like humans, may fail to detect and correct misleading assumptions introduced as false presuppositions, even when the stakes of misinformation are high. Using a systematic approach based on linguistic presupposition analysis, we investigate the conditions under which LLMs are more or less sensitive to adopt or reject false presuppositions. Focusing on political contexts, we examine how factors like linguistic construction, political party, and scenario probability impact the recognition of false presuppositions. We conduct experiments with a newly created dataset and examine three LLMs: OpenAI's GPT-4-o, Meta's LLama-3-8B, and MistralAI's Mistral-7B-v03. Our results show that the models struggle to recognize false presuppositions, with performance varying by condition. This study highlights that linguistic presupposition analysis is a valuable tool for uncovering the reinforcement of political misinformation in LLM responses.
• Abstract（参考訳）: 本稿では, LLMが偽の前提条件をどう扱うか, 特定の言語要因が偽の前提条件に対する応答に影響を及ぼすかを検討する。 仮定は、与えられた情報を微妙に導入し、疑わしい情報や偽情報を埋め込むのに非常に効果的である。 このことは、LLMが人間のように、偽情報が高い場合でも、偽の前提として導入された誤解を招く仮定を検知し、正すことができないのではないかという懸念を提起する。 言語前置詞分析に基づく体系的アプローチを用いて, LLM が多かれ少なかれ, 偽の前置詞の採用や拒絶に敏感である条件について検討する。 政治的文脈に着目し,言語構築や政党,シナリオ確率といった要因が,偽の前提に対する認識にどのように影響するかを検討する。 新たに作成したデータセットを用いて実験を行い,OpenAIのGPT-4-o,MetaのLLama-3-8B,MistralAIのMistral-7B-v03の3つのLCMについて検討した。 以上の結果から,モデルが偽の前提条件を認識するのに苦労していることが示唆された。 本研究は,LLM応答における政治的誤報の強化を明らかにする上で,言語的前提分析が有用であることを示す。

関連論文リスト

• How does Misinformation Affect Large Language Model Behaviors and Preferences? [37.06385727015972]
  大きな言語モデル(LLM)は、知識集約的なタスクにおいて顕著な能力を示している。 我々は,LLMの行動と誤情報に対する知識嗜好を評価するための,現在最大かつ最も包括的なベンチマークであるMisBenchを紹介する。 実証的な結果から、LLMは誤報を識別する能力に匹敵する能力を示すが、知識の衝突やスタイルのバリエーションの影響を受けやすいままであることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-27T17:57:44Z)
• Fact-checking with Generative AI: A Systematic Cross-Topic Examination of LLMs Capacity to Detect Veracity of Political Information [0.0]
  本研究の目的は,大規模言語モデル (LLM) がファクトチェックにどのように用いられるかを評価することである。 我々は5つのLLMの性能を体系的に評価するAI監査手法を用いる。 結果は、特にセンシティブなトピックにおいて、モデルが偽文を識別するのが優れていることを示している。
  論文  参考訳（メタデータ） (2025-03-11T13:06:40Z)
• On Fact and Frequency: LLM Responses to Misinformation Expressed with Uncertainty [0.0]
  本研究では,3つの LLM の誤報に対する応答を検証し,不確定な文に変換した。 以上の結果から, LLMは, 事実確認分類を偽物から偽物に変更し, 25%の症例で偽物に分類した。 例外はドクサスティック変換であり、それは「それは信じる...」のような言語的キュー句を使う。
  論文  参考訳（メタデータ） (2025-03-06T10:02:25Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• The Political Preferences of LLMs [0.0]
  私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。 ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。 LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
  論文  参考訳（メタデータ） (2024-02-02T02:43:10Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
  大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。 語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。 本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
  論文  参考訳（メタデータ） (2023-10-20T14:49:47Z)
• The Internal State of an LLM Knows When It's Lying [18.886091925252174]
  大規模言語モデル(LLM)は、様々なタスクにおいて例外的なパフォーマンスを示している。 彼らの最も顕著な欠点の1つは、自信のあるトーンで不正確または偽の情報を生成することである。 我々は, LLMの内部状態が文の真偽を明らかにするのに有効であることを示す証拠を提供する。
  論文  参考訳（メタデータ） (2023-04-26T02:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。