論文の概要: Neural Erosion: Emulating Controlled Neurodegeneration and Aging in AI Systems

• arxiv url: http://arxiv.org/abs/2403.10596v1
• Date: Fri, 15 Mar 2024 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:44:00.365458
• Title: Neural Erosion: Emulating Controlled Neurodegeneration and Aging in AI Systems
• Title（参考訳）: 神経エロージョン:AIシステムにおける制御された神経変性と老化をエミュレートする
• Authors: Antonios Alexos, Yu-Dai Tsai, Ian Domingo, Maryam Pishgar, Pierre Baldi,
• Abstract要約: 我々は、Large Language Models (LLMs) によるIQテストを使用して、神経浸食の概念を導入する。 この意図的な浸食は、シナプスやニューロンを非難すること、または訓練中または訓練後にガウスノイズを付加することを含み、LSMの性能は制御的に低下する。 私たちの知る限りでは、コンピュータビジョン領域で動作する他の研究と比べて、神経変性をテキストデータでモデル化する最初の研究である。
• 参考スコア（独自算出の注目度）: 5.720259826430462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating controlled methods to simulate neurodegeneration in artificial intelligence (AI) is crucial for applications that emulate brain function decline and cognitive disorders. We use IQ tests performed by Large Language Models (LLMs) and, more specifically, the LLaMA 2 to introduce the concept of ``neural erosion." This deliberate erosion involves ablating synapses or neurons, or adding Gaussian noise during or after training, resulting in a controlled progressive decline in the LLMs' performance. We are able to describe the neurodegeneration in the IQ tests and show that the LLM first loses its mathematical abilities and then its linguistic abilities, while further losing its ability to understand the questions. To the best of our knowledge, this is the first work that models neurodegeneration with text data, compared to other works that operate in the computer vision domain. Finally, we draw similarities between our study and cognitive decline clinical studies involving test subjects. We find that with the application of neurodegenerative methods, LLMs lose abstract thinking abilities, followed by mathematical degradation, and ultimately, a loss in linguistic ability, responding to prompts incoherently. These findings are in accordance with human studies.
• Abstract（参考訳）: 人工知能(AI)における神経変性をシミュレートする制御手法の作成は、脳機能低下や認知障害をエミュレートするアプリケーションに不可欠である。 我々は,Large Language Models (LLMs) によるIQテストと,より具体的には LLaMA 2 を用いて,'`neural erosion' の概念を導入する。 「この故意な浸食は、シナプスやニューロンを非難することや、訓練中または訓練後にガウスノイズを付加することであり、LSMのパフォーマンスは制御的に低下する。」 我々はIQテストの神経変性を記述し、LLMがまず数学的能力を失い、次に言語能力を失うことを示し、さらに質問を理解する能力を失っている。 私たちの知る限りでは、コンピュータビジョン領域で動作する他の研究と比べて、神経変性をテキストデータでモデル化する最初の研究である。 最後に, 被験者を対象とする認知低下臨床研究と, 研究の類似性について考察した。 神経変性法の応用により、LLMは抽象的な思考能力を失い、数学的劣化が続き、最終的には言語能力が失われ、不整合に応答することが判明した。 これらの発見は人間の研究と一致している。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Too Big to Fail: Larger Language Models are Disproportionately Resilient to Induction of Dementia-Related Linguistic Anomalies [7.21603206617401]
  より大型のGPT-2モデルでは、マスキングによる劣化の程度を示すために、被マスキング/被マスキングを行うために、不均等に多くの注意ヘッドを必要とすることが示されている。 これらの結果から, トランスフォーマーモデルにおける注意機構は, 認知と脳保護の概念に類似している可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-05T00:31:50Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Towards a Foundation Model for Brain Age Prediction using coVariance Neural Networks [102.75954614946258]
  時間的年齢に関する脳年齢の増加は、神経変性と認知低下に対する脆弱性の増加を反映している。 NeuroVNNは、時系列年齢を予測するために、健康な人口の回帰モデルとして事前訓練されている。 NeuroVNNは、脳の年齢に解剖学的解釈性を加え、任意の脳のアトラスに従って計算されたデータセットへの転移を可能にする「スケールフリー」特性を持つ。
  論文  参考訳（メタデータ） (2024-02-12T14:46:31Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain [9.916033214833407]
  本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。 実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
  論文  参考訳（メタデータ） (2023-03-27T01:41:48Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。