Fugu-MT 論文翻訳(概要): On consequences of finetuning on data with highly discriminative features

論文の概要: On consequences of finetuning on data with highly discriminative features

arxiv url: http://arxiv.org/abs/2310.19537v2
Date: Wed, 15 Nov 2023 22:09:08 GMT
ステータス: 処理完了
システム内更新日: 2023-11-17 22:23:19.184152
Title: On consequences of finetuning on data with highly discriminative features
Title（参考訳）: 判別的特徴を有するデータに対する微調整の影響について
Authors: Wojciech Masarczyk, Tomasz Trzci\'nski, Mateusz Ostaszewski
Abstract要約: トランスファーラーニングの時代、スクラッチからニューラルネットワークを訓練することは時代遅れになりつつある。ネットワークは基本的なデータパターンを優先し、価値ある事前学習機能を禁止しがちだ。
参考スコア（独自算出の注目度）: 17.348689668484976
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the era of transfer learning, training neural networks from scratch is becoming obsolete. Transfer learning leverages prior knowledge for new tasks, conserving computational resources. While its advantages are well-documented, we uncover a notable drawback: networks tend to prioritize basic data patterns, forsaking valuable pre-learned features. We term this behavior "feature erosion" and analyze its impact on network performance and internal representations.
Abstract（参考訳）: トランスファーラーニングの時代、スクラッチからニューラルネットワークを訓練することは時代遅れになりつつある。転送学習は新しいタスクの事前知識を活用し、計算資源を保存する。ネットワークは基本的なデータパターンを優先し、事前学習した価値のある機能を禁止する傾向があります。この挙動を「機能侵食」と呼び、ネットワーク性能と内部表現への影響を分析する。

関連論文リスト

DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity [11.624569521079426]
我々は,実世界のニューラルネットワークトレーニングを模擬したフレームワークを開発し,静止データ上での暖房開始時の可塑性損失の主な原因としてノイズ記憶を同定する。そこで本研究では,学習した特徴を保ちながら雑音を選択的に忘れることによって可塑性損失を軽減することを目的としたDASH(Direction-Aware SHrinking)を提案する。
論文参考訳（メタデータ） (2024-10-30T22:57:54Z)
Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文参考訳（メタデータ） (2023-11-30T22:43:50Z)
Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文参考訳（メタデータ） (2022-06-30T14:24:32Z)
A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features [18.321479102352875]
ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
論文参考訳（メタデータ） (2022-06-03T17:49:38Z)
Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
論文参考訳（メタデータ） (2022-05-20T16:19:30Z)
Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
論文参考訳（メタデータ） (2022-05-04T08:00:49Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文参考訳（メタデータ） (2020-07-22T08:30:16Z)
Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。