Fugu-MT 論文翻訳(概要): A study on the plasticity of neural networks

論文の概要: A study on the plasticity of neural networks

arxiv url: http://arxiv.org/abs/2106.00042v2
Date: Sat, 14 Oct 2023 11:58:06 GMT
ステータス: 処理完了
システム内更新日: 2023-10-19 01:02:01.922002
Title: A study on the plasticity of neural networks
Title（参考訳）: ニューラルネットワークの可塑性に関する研究
Authors: Tudor Berariu, Wojciech Czarnecki, Soham De, Jorg Bornschein, Samuel Smith, Razvan Pascanu and Claudia Clopath
Abstract要約: 連続学習における可塑性の喪失の意味について論じる。そこで本研究では,データ分布と微調整したデータから事前学習したモデルが,新たな初期化モデルと同じ一般化に到達しないことを示す。
参考スコア（独自算出の注目度）: 21.43675319928863
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One aim shared by multiple settings, such as continual learning or transfer learning, is to leverage previously acquired knowledge to converge faster on the current task. Usually this is done through fine-tuning, where an implicit assumption is that the network maintains its plasticity, meaning that the performance it can reach on any given task is not affected negatively by previously seen tasks. It has been observed recently that a pretrained model on data from the same distribution as the one it is fine-tuned on might not reach the same generalisation as a freshly initialised one. We build and extend this observation, providing a hypothesis for the mechanics behind it. We discuss the implication of losing plasticity for continual learning which heavily relies on optimising pretrained models.
Abstract（参考訳）: 連続学習や転帰学習といった複数の設定で共有される目的のひとつは、以前取得した知識を活用して、現在のタスクにより早く収束させることである。通常、これは微調整によって行われるが、暗黙の仮定では、ネットワークはその可塑性を維持している。近年, 微調整したデータと同じ分布から得られたデータに対する事前学習モデルが, 新たな初期化モデルと同じ一般化に達しない可能性が指摘されている。私たちはこの観察を構築、拡張し、背後にある力学の仮説を提供します。本稿では,事前学習モデルの最適化に大きく依存する連続学習における可塑性喪失の意義について考察する。

関連論文リスト

Why pre-training is beneficial for downstream classification tasks? [32.331679393303446]
本稿では,ゲーム理論の新たな視点から,事前学習が下流作業に与える影響を定量的かつ明示的に説明することを提案する。具体的には,事前学習モデルにより符号化された知識を抽出し,定量化する。我々は、下流タスクの推測のために、少数の事前訓練されたモデルの知識しか保存されていないことを発見した。
論文参考訳（メタデータ） (2024-10-11T02:13:16Z)
Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文参考訳（メタデータ） (2024-02-29T00:02:33Z)
IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文参考訳（メタデータ） (2023-06-18T05:26:49Z)
Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文参考訳（メタデータ） (2023-01-01T03:10:45Z)
Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
論文参考訳（メタデータ） (2022-03-24T23:06:08Z)
An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
論文参考訳（メタデータ） (2021-12-16T19:00:55Z)
Learning Curves for Sequential Training of Neural Networks: Self-Knowledge Transfer and Forgetting [9.734033555407406]
我々は,タスクからタスクまでの目標関数を継続的に学習するニューラルネットワークをニューラルネットワークとして検討する。モデルが複数のタスクで同じターゲット関数を学習する連続学習の変種について検討する。同じターゲットであっても、トレーニングされたモデルは、各タスクのサンプルサイズに応じて、何らかの転送と忘れを見せる。
論文参考訳（メタデータ） (2021-12-03T00:25:01Z)
Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文参考訳（メタデータ） (2021-04-11T15:19:30Z)
Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文参考訳（メタデータ） (2020-09-24T15:40:55Z)
Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。