論文の概要: Negation-Induced Forgetting in LLMs

• arxiv url: http://arxiv.org/abs/2502.19211v1
• Date: Wed, 26 Feb 2025 15:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:48.665616
• Title: Negation-Induced Forgetting in LLMs
• Title（参考訳）: LLMにおける否定誘起鍛造
• Authors: Francesca Capuano, Ellen Boschert, Barbara Kaup,
• Abstract要約: 本研究は,大言語モデル(LLM)が否定誘発記憶(NIF)を示すか否かを考察する。 NIF(英: NIF)とは、物体や事象の誤った属性を否定することで、この物体や事象のリコールが減少する認知現象である。 この効果をChatGPT-3.5, GPT-4o mini, Llama3-70b-instructで検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The study explores whether Large Language Models (LLMs) exhibit negation-induced forgetting (NIF), a cognitive phenomenon observed in humans where negating incorrect attributes of an object or event leads to diminished recall of this object or event compared to affirming correct attributes (Mayo et al., 2014; Zang et al., 2023). We adapted Zang et al. (2023) experimental framework to test this effect in ChatGPT-3.5, GPT-4o mini and Llama3-70b-instruct. Our results show that ChatGPT-3.5 exhibits NIF, with negated information being less likely to be recalled than affirmed information. GPT-4o-mini showed a marginally significant NIF effect, while LLaMA-3-70B did not exhibit NIF. The findings provide initial evidence of negation-induced forgetting in some LLMs, suggesting that similar cognitive biases may emerge in these models. This work is a preliminary step in understanding how memory-related phenomena manifest in LLMs.
• Abstract（参考訳）: この研究は、Large Language Models(LLMs)が否定誘発的忘れ(NIF)を示すかどうかを調査する。これは、物体や事象の誤った属性を否定する認知現象が、正しい属性を確認することと比較して、このオブジェクトや事象のリコールを減少させる(Mayo et al , 2014; Zang et al , 2023)。 この効果をChatGPT-3.5, GPT-4o mini, Llama3-70b-instructで検証するため, Zang et al (2023) を用いて実験を行った。 以上の結果から,ChatGPT-3.5はNIFを呈し,否定された情報は確認情報よりもリコールされる可能性が低いことが明らかとなった。 GPT-4o-miniではNIFが有意であり, LLaMA-3-70BではNIFは認められなかった。 この発見は、一部のLSMにおいて否定によって引き起こされる忘れの証拠であり、同様の認知バイアスがこれらのモデルに現れる可能性があることを示唆している。 この研究は、LLMにおいて記憶に関連する現象がどのように現れるかを理解するための予備的なステップである。

関連論文リスト

• Addressing Hallucinations with RAG and NMISS in Italian Healthcare LLM Chatbots [0.0]
  大規模言語モデル(LLM)の幻覚に対する検出と緩和を併用する NMISS(Negative Missing Information Scoring System)を導入して検出を行う間、質問応答型検索拡張生成(RAG)フレームワークで緩和を実現する。 この組み合わせアプローチは、LLMにおける幻覚の低減とより正確な評価に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-05T15:11:12Z)
• A Debate-Driven Experiment on LLM Hallucinations and Accuracy [7.821303946741665]
  本研究では,大規模言語モデル(LLM)における幻覚現象について検討する。 GPT-4o-Miniモデルの複数のインスタンスは、TrathfulQAデータセットからの質問によって引き起こされた議論のような相互作用に関与している。 1つのモデルは、もっともらしいが偽の答えを生成するように故意に指示され、他のモデルは真に応答するように要求される。
  論文  参考訳（メタデータ） (2024-10-25T11:41:27Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
  大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-23T04:39:01Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)
• A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
  大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
  論文  参考訳（メタデータ） (2023-07-08T14:25:57Z)
• Oversampling Higher-Performing Minorities During Machine Learning Model Training Reduces Adverse Impact Slightly but Also Reduces Model Accuracy [18.849426971487077]
  トレーニングデータにおける有害影響率を操作するために,少数者(黒人およびヒスパニック系)を体系的に過小評価し,過大評価した。 その結果,トレーニングデータによる影響は,MLモデルの悪影響と線形に関連していることがわかった。 本研究は, 自己申告書と面接書にまたがる一貫した効果を観察し, 実測, 合成観察をオーバーサンプリングした。
  論文  参考訳（メタデータ） (2023-04-27T02:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。