論文の概要: In Praise of Stubbornness: The Case for Cognitive-Dissonance-Aware Knowledge Updates in LLMs

• arxiv url: http://arxiv.org/abs/2502.04390v1
• Date: Wed, 05 Feb 2025 23:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:59:00.826801
• Title: In Praise of Stubbornness: The Case for Cognitive-Dissonance-Aware Knowledge Updates in LLMs
• Title（参考訳）: 頑健さの鑑定 : LLMにおける認知的不協和性認知知識更新の事例
• Authors: Simone Clemente, Zied Ben Houidi, Alexis Huet, Dario Rossi, Giulio Franzese, Pietro Michiardi,
• Abstract要約: 大規模言語モデル(LLM)は、破滅的な忘れをすることなく、その知識を継続的に更新するのに苦労する。 人間は新しい情報を熱心に統合し、既存の信念との矛盾を検知し、精神モデルを選択的に更新する。 本稿では,LLMにおける継続的な知識更新を研究するための,認知にインスパイアされた調査パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 12.126745558519737
• License:
• Abstract: Despite remarkable capabilities, large language models (LLMs) struggle to continually update their knowledge without catastrophic forgetting. In contrast, humans effortlessly integrate new information, detect conflicts with existing beliefs, and selectively update their mental models. This paper introduces a cognitive-inspired investigation paradigm to study continual knowledge updating in LLMs. We implement two key components inspired by human cognition: (1) Dissonance and Familiarity Awareness, analyzing model behavior to classify information as novel, familiar, or dissonant; and (2) Targeted Network Updates, which track neural activity to identify frequently used (stubborn) and rarely used (plastic) neurons. Through carefully designed experiments in controlled settings, we uncover a number of empirical findings demonstrating the potential of this approach. First, dissonance detection is feasible using simple activation and gradient features, suggesting potential for cognitive-inspired training. Second, we find that non-dissonant updates largely preserve prior knowledge regardless of targeting strategy, revealing inherent robustness in LLM knowledge integration. Most critically, we discover that dissonant updates prove catastrophically destructive to the model's knowledge base, indiscriminately affecting even information unrelated to the current updates. This suggests fundamental limitations in how neural networks handle contradictions and motivates the need for new approaches to knowledge updating that better mirror human cognitive mechanisms.
• Abstract（参考訳）: 目覚ましい能力にもかかわらず、大きな言語モデル(LLM)は破滅的なことを忘れずに、その知識を継続的に更新するのに苦労している。 対照的に、人間は新しい情報を熱心に統合し、既存の信念との矛盾を検出し、メンタルモデルを選択的に更新する。 本稿では,LLMにおける継続的な知識更新を研究するための,認知にインスパイアされた調査パラダイムを提案する。 人間の認知にインスパイアされた2つの重要な要素を実装した:(1)不協和性と親しみやすさの認識、(2)不協和音として情報を分類するためのモデル行動の分析、(2)神経活動を追跡し、頻繁に使われる(新生児)と稀に使用される(可塑性)ニューロンを識別する。 制御された設定で慎重に設計された実験を通して、このアプローチの可能性を実証する多くの経験的発見を明らかにする。 第一に、不協和検出は単純なアクティベーションと勾配特徴を用いて実現可能であり、認知に触発された訓練の可能性を示している。 第2に、非不協和性更新は、ターゲット戦略によらず、事前知識を保ち、LLM知識統合に固有の堅牢性を明らかにしている。 最も重要なことは、不協和音の更新がモデルの知識ベースに対して破滅的に破壊的であることを証明し、現在の更新とは無関係な情報にも無差別に影響を及ぼすことである。 これは、ニューラルネットワークが矛盾に対処する方法の基本的な制限を示唆し、人間の認知メカニズムを良く反映する知識更新に対する新しいアプローチの必要性を動機付けている。

関連論文リスト

• Composite Learning Units: Generalized Learning Beyond Parameter Updates to Transform LLMs into Adaptive Reasoners [0.0]
  連続学習が可能な学習者へ推論器を変換する複合学習ユニット(CLU)を導入する。 CLUは、動的知識リポジトリの保守と進化を可能にするアーキテクチャ上に構築されている。 我々は暗号推論タスクを通じてCLUの有効性を実証し、フィードバックを通じて理解を継続的に進化させ、隠れた変換規則を明らかにする。
  論文  参考訳（メタデータ） (2024-10-09T02:27:58Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Association: Remind Your GAN not to Forget [11.653696510515807]
  本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。 画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2020-11-27T04:43:15Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。