Fugu-MT 論文翻訳(概要): Drift to Remember

論文の概要: Drift to Remember

arxiv url: http://arxiv.org/abs/2409.13997v1
Date: Sat, 21 Sep 2024 03:18:44 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:06:38.453882
Title: Drift to Remember
Title（参考訳）: Drift (複数形 Drifts)
Authors: Jin Du, Xinhe Zhang, Hao Shen, Xun Xian, Ganghua Wang, Jiawei Zhang, Yuhong Yang, Na Li, Jia Liu, Jie Ding,
Abstract要約: 人工知能(AI)における生涯学習は、生物学的脳が継続的に学習し、知識を保持する能力を模倣することを目的としている。最近の神経科学研究は、生物学的システムの神経活動が表現的ドリフト(英語版)を受けていることを示唆している。そこでDriftNetを紹介した。DriftNetは、ロスランドスケープにおける様々なローカルミニマを常に探索し、関連するタスクを動的に検索するネットワークである。
参考スコア（独自算出の注目度）: 25.76885050851894
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Lifelong learning in artificial intelligence (AI) aims to mimic the biological brain's ability to continuously learn and retain knowledge, yet it faces challenges such as catastrophic forgetting. Recent neuroscience research suggests that neural activity in biological systems undergoes representational drift, where neural responses evolve over time, even with consistent inputs and tasks. We hypothesize that representational drift can alleviate catastrophic forgetting in AI during new task acquisition. To test this, we introduce DriftNet, a network designed to constantly explore various local minima in the loss landscape while dynamically retrieving relevant tasks. This approach ensures efficient integration of new information and preserves existing knowledge. Experimental studies in image classification and natural language processing demonstrate that DriftNet outperforms existing models in lifelong learning. Importantly, DriftNet is scalable in handling a sequence of tasks such as sentiment analysis and question answering using large language models (LLMs) with billions of parameters on a single Nvidia A100 GPU. DriftNet efficiently updates LLMs using only new data, avoiding the need for full dataset retraining. Tested on GPT-2 and RoBERTa, DriftNet is a robust, cost-effective solution for lifelong learning in LLMs. This study not only advances AI systems to emulate biological learning, but also provides insights into the adaptive mechanisms of biological neural systems, deepening our understanding of lifelong learning in nature.
Abstract（参考訳）: 人工知能(AI)における生涯学習は、生物学的脳が継続的に学習し、知識を保持する能力を模倣することを目的としている。最近の神経科学研究は、生物学的システムの神経活動が表現的ドリフト(英語版)を実行し、神経反応は時間の経過とともに進化し、一貫した入力やタスクでも起こることを示唆している。我々は、表現の漂流は、新しいタスク獲得中にAIの破滅的な忘れを軽減できると仮定する。これをテストするためにDriftNetを紹介した。DriftNetは、ロスランドスケープにおける様々なローカルなミニマを常に探索し、関連するタスクを動的に検索するように設計されたネットワークである。このアプローチは、新しい情報の効率的な統合を保証し、既存の知識を保存する。画像分類と自然言語処理の実験研究により、DriftNetは生涯学習において既存のモデルよりも優れていることが示された。重要な点として、DriftNetは1つのNvidia A100 GPU上で数十億のパラメータを持つ大規模言語モデル(LLM)を使用して、感情分析や質問応答などの一連のタスクを処理するためにスケーラブルである。 DriftNetは、新しいデータのみを使用してLLMを効率的に更新する。 GPT-2とRoBERTaでテストされたDriftNetは、LLMにおける生涯学習のための堅牢で費用対効果の高いソリューションである。この研究は、生物学的学習をエミュレートするためにAIシステムを前進させるだけでなく、生物学的ニューラルネットワークの適応メカニズムに関する洞察を与え、自然界における生涯学習の理解を深める。

関連論文リスト

Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
論文参考訳（メタデータ） (2024-09-18T06:01:35Z)
TACOS: Task Agnostic Continual Learning in Spiking Neural Networks [1.703671463296347]
破滅的な干渉は、新しい情報を学ぶ際に学習した情報が失われることであり、機械学習において依然として大きな課題である。本研究では, シナプス結合やメタ可塑性などの神経誘発機構が, スパイク神経ネットワークにおける破滅的干渉を緩和することを示した。我々のモデルであるTACOSは、神経変調と複雑なシナプス力学を組み合わせることで、以前の情報を保護しながら新しい学習を可能にする。
論文参考訳（メタデータ） (2024-08-16T15:42:16Z)
Breaching the Bottleneck: Evolutionary Transition from Reward-Driven Learning to Reward-Agnostic Domain-Adapted Learning in Neuromodulated Neural Nets [0.3428444467046466]
AI学習アルゴリズムは、適切な振る舞いを取得するために、外部から用意された振る舞い品質の測定に頼っている。これにより、多様な非逆刺激情報からの学習を妨げる情報のボトルネックが生じる。まず、報奨信号から学習する能力を進化させ、非効率(ボトルネック化)だが広い適応性を提供することを提案する。
論文参考訳（メタデータ） (2024-04-19T05:14:47Z)
Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文参考訳（メタデータ） (2024-02-21T15:51:01Z)
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
論文参考訳（メタデータ） (2023-06-07T13:08:46Z)
SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection for Autonomous Driving [0.0]
Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
論文参考訳（メタデータ） (2022-06-06T20:05:17Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文参考訳（メタデータ） (2021-12-09T07:11:14Z)
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文参考訳（メタデータ） (2020-11-12T06:06:33Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。