論文の概要: Negation-Induced Forgetting in LLMs

• arxiv url: http://arxiv.org/abs/2502.19211v1
• Date: Wed, 26 Feb 2025 15:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 15:24:46.549721
• Title: Negation-Induced Forgetting in LLMs
• Title（参考訳）: LLMにおける否定誘起鍛造
• Authors: Francesca Capuano, Ellen Boschert, Barbara Kaup,
• Abstract要約: 本研究は,大言語モデル(LLM)が否定誘発記憶(NIF)を示すか否かを考察する。 NIF(英: NIF)とは、物体や事象の誤った属性を否定することで、この物体や事象のリコールが減少する認知現象である。 この効果をChatGPT-3.5, GPT-4o mini, Llama3-70b-instructで検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study explores whether Large Language Models (LLMs) exhibit negation-induced forgetting (NIF), a cognitive phenomenon observed in humans where negating incorrect attributes of an object or event leads to diminished recall of this object or event compared to affirming correct attributes (Mayo et al., 2014; Zang et al., 2023). We adapted Zang et al. (2023) experimental framework to test this effect in ChatGPT-3.5, GPT-4o mini and Llama3-70b-instruct. Our results show that ChatGPT-3.5 exhibits NIF, with negated information being less likely to be recalled than affirmed information. GPT-4o-mini showed a marginally significant NIF effect, while LLaMA-3-70B did not exhibit NIF. The findings provide initial evidence of negation-induced forgetting in some LLMs, suggesting that similar cognitive biases may emerge in these models. This work is a preliminary step in understanding how memory-related phenomena manifest in LLMs.
• Abstract（参考訳）: この研究は、Large Language Models(LLMs)が否定誘発的忘れ(NIF)を示すかどうかを調査する。これは、物体や事象の誤った属性を否定する認知現象が、正しい属性を確認することと比較して、このオブジェクトや事象のリコールを減少させる(Mayo et al , 2014; Zang et al , 2023)。 この効果をChatGPT-3.5, GPT-4o mini, Llama3-70b-instructで検証するため, Zang et al (2023) を用いて実験を行った。 以上の結果から,ChatGPT-3.5はNIFを呈し,否定された情報は確認情報よりもリコールされる可能性が低いことが明らかとなった。 GPT-4o-miniではNIFが有意であり, LLaMA-3-70BではNIFは認められなかった。 この発見は、一部のLSMにおいて否定によって引き起こされる忘れの証拠であり、同様の認知バイアスがこれらのモデルに現れる可能性があることを示唆している。 この研究は、LLMにおいて記憶に関連する現象がどのように現れるかを理解するための予備的なステップである。

関連論文リスト

• HausaNLP at SemEval-2025 Task 3: Towards a Fine-Grained Model-Aware Hallucination Detection [1.8230982862848586]
  本研究の目的は, 幻覚の発生と重篤さに関する, 微妙な, モデルに配慮した理解を英語で提供することである。 自然言語の推論と400サンプルの合成データセットを用いたModernBERTモデルの微調整を行った。 その結果,モデルの信頼度と幻覚の有無との間には,正の相関が認められた。
  論文  参考訳（メタデータ） (2025-03-25T13:40:22Z)
• Seeing What's Not There: Spurious Correlation in Multimodal LLMs [47.651861502104715]
  我々は,人間の監督なしに刺激的な視覚的手がかりを自動的に識別するパイプラインであるSpurLensを紹介した。 MLLM(Multimodal Large Language Models)において,スプリアス相関が2つの大きな障害モードを引き起こすことが明らかとなった。 相関関係の持続性を明らかにすることにより,MLLMの信頼性を高めるため,より厳密な評価手法と緩和戦略が求められた。
  論文  参考訳（メタデータ） (2025-03-11T20:53:00Z)
• A Debate-Driven Experiment on LLM Hallucinations and Accuracy [7.821303946741665]
  本研究では,大規模言語モデル(LLM)における幻覚現象について検討する。 GPT-4o-Miniモデルの複数のインスタンスは、TrathfulQAデータセットからの質問によって引き起こされた議論のような相互作用に関与している。 1つのモデルは、もっともらしいが偽の答えを生成するように故意に指示され、他のモデルは真に応答するように要求される。
  論文  参考訳（メタデータ） (2024-10-25T11:41:27Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
  大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-23T04:39:01Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。