論文の概要: In Praise of Stubbornness: An Empirical Case for Cognitive-Dissonance Aware Continual Update of Knowledge in LLMs
- arxiv url: http://arxiv.org/abs/2502.04390v2
- Date: Tue, 10 Jun 2025 13:44:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:39.553587
- Title: In Praise of Stubbornness: An Empirical Case for Cognitive-Dissonance Aware Continual Update of Knowledge in LLMs
- Title（参考訳）: 頑健さ評価における認知的不協和感の実証的事例 : LLMにおける知識の継続的な更新に着目して
- Authors: Simone Clemente, Zied Ben Houidi, Alexis Huet, Dario Rossi, Giulio Franzese, Pietro Michiardi,
- Abstract要約: 大きな言語モデルは矛盾を無差別に受け入れ、破壊的な干渉を引き起こし、最大80%の無関係な知識を破壊します。
我々は,単純なモデル特徴を用いて矛盾情報を確実に検出できることを実証し,潜在的な保護機構を提供する。
これらの発見は、人間のように、破壊的な上書きを許すのではなく、自然に矛盾に抵抗できる新しいアーキテクチャを動機付けている。
- 参考スコア（独自算出の注目度）: 12.126745558519737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Through systematic empirical investigation, we uncover a fundamental and concerning property of Large Language Models: while they can safely learn facts that don't contradict their knowledge, attempting to update facts with contradictory information triggers catastrophic corruption of unrelated knowledge. Unlike humans, who naturally resist contradictory information, these models indiscriminately accept contradictions, leading to devastating interference, destroying up to 80% of unrelated knowledge even when learning as few as 10-100 contradicting facts. To understand whether this interference could be mitigated through selective plasticity, we experiment with targeted network updates, distinguishing between previously used (stubborn) and rarely used (plastic) neurons. We uncover another asymmetry: while sparing frequently-used neurons significantly improves retention of existing knowledge for non-contradictory updates (98% vs 93% with standard updates), contradictory updates trigger catastrophic interference regardless of targeting strategy. This effect which persists across tested model scales (GPT-2 to GPT-J-6B), suggests a fundamental limitation in how neural networks handle contradictions. Finally, we demonstrate that contradictory information can be reliably detected (95%+ accuracy) using simple model features, offering a potential protective mechanism. These findings motivate new architectures that can, like humans, naturally resist contradictions rather than allowing destructive overwrites.
- Abstract（参考訳）: 体系的な経験的調査を通じて、大規模言語モデルの基本的かつ関連する特性を明らかにする:彼らは、知識に矛盾しない事実を安全に学習できるが、矛盾した情報で事実を更新しようとすると、無関係な知識の破滅的な腐敗を引き起こす。
自然に矛盾する情報に抵抗する人間とは異なり、これらのモデルは矛盾を無差別に受け入れ、破壊的な干渉を引き起こし、矛盾する事実を10～100点まで学習しても、関係のない知識の80%を破壊する。
この干渉が選択的可塑性によって緩和されるかどうかを理解するために、我々は、以前使用されていた(頑健な)ニューロンとほとんど使用されていない(可塑性)ニューロンを区別して、標的となるネットワーク更新を実験した。
頻繁に使用されるニューロンのスペーシングは、非矛盾的な更新(標準更新では98%対93%)に対する既存の知識の保持を著しく改善するが、矛盾した更新は、ターゲット戦略に関係なく破滅的な干渉を引き起こす。
テストされたモデルスケール(GPT-2からGPT-J-6B)にまたがって持続するこの効果は、ニューラルネットワークが矛盾に対処する方法の根本的な制限を示唆している。
最後に、単純なモデル特徴を用いて矛盾情報を確実に(95%以上の精度で)検出できることを示し、潜在的な保護機構を提供する。
これらの発見は、人間のように、破壊的な上書きを許すのではなく、自然に矛盾に抵抗できる新しいアーキテクチャを動機付けている。
関連論文リスト
- Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。
提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
論文 参考訳（メタデータ） (2025-04-20T19:53:13Z) - Hybrid Learners Do Not Forget: A Brain-Inspired Neuro-Symbolic Approach to Continual Learning [20.206972068340843]
継続的な学習は、自律的に学習し、改善できるAIエージェントを作成するために不可欠である。
ヒト脳の2つの異なるシステムにインスパイアされた我々は、ニューロシンボリック脳誘発連続学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-16T20:09:19Z) - FaithUn: Toward Faithful Forgetting in Language Models by Investigating the Interconnectedness of Knowledge [24.858928681280634]
本研究では,非学習手法が相互接続した知識の消去に失敗する現象を指す「表面的非学習」という概念を新たに定義する。
この定義に基づいて、実世界の知識QA設定における未学習の忠実度を分析し評価する新しいベンチマーク、FaithUnを導入する。
我々は,知識関連ニューロンのみを更新し,忠実な未学習を実現する新しい未学習手法KLUEを提案する。
論文 参考訳（メタデータ） (2025-02-26T15:11:03Z) - How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。
知識記憶と処理を容易にする計算サブグラフを同定する。
論文 参考訳（メタデータ） (2025-02-16T16:55:43Z) - Composite Learning Units: Generalized Learning Beyond Parameter Updates to Transform LLMs into Adaptive Reasoners [0.0]
連続学習が可能な学習者へ推論器を変換する複合学習ユニット(CLU)を導入する。
CLUは、動的知識リポジトリの保守と進化を可能にするアーキテクチャ上に構築されている。
我々は暗号推論タスクを通じてCLUの有効性を実証し、フィードバックを通じて理解を継続的に進化させ、隠れた変換規則を明らかにする。
論文 参考訳（メタデータ） (2024-10-09T02:27:58Z) - Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。
我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-07T13:08:46Z) - Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning [71.43841235954453]
現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
論文 参考訳（メタデータ） (2023-01-18T05:36:06Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Association: Remind Your GAN not to Forget [11.653696510515807]
本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。
画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
論文 参考訳（メタデータ） (2020-11-27T04:43:15Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳（メタデータ） (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。