論文の概要: Being Friends Instead of Adversaries: Deep Networks Learn from Data
Simplified by Other Networks
- arxiv url: http://arxiv.org/abs/2112.09968v1
- Date: Sat, 18 Dec 2021 16:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 17:17:08.914392
- Title: Being Friends Instead of Adversaries: Deep Networks Learn from Data
Simplified by Other Networks
- Title（参考訳）: 敵対者ではなく友人であること: ディープネットワークは、他のネットワークによって単純化されたデータから学ぶ
- Authors: Simone Marullo, Matteo Tiezzi, Marco Gori, Stefano Melacci
- Abstract要約: フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。
本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。
本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 23.886422706697882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Amongst a variety of approaches aimed at making the learning procedure of
neural networks more effective, the scientific community developed strategies
to order the examples according to their estimated complexity, to distil
knowledge from larger networks, or to exploit the principles behind adversarial
machine learning. A different idea has been recently proposed, named Friendly
Training, which consists in altering the input data by adding an automatically
estimated perturbation, with the goal of facilitating the learning process of a
neural classifier. The transformation progressively fades-out as long as
training proceeds, until it completely vanishes. In this work we revisit and
extend this idea, introducing a radically different and novel approach inspired
by the effectiveness of neural generators in the context of Adversarial Machine
Learning. We propose an auxiliary multi-layer network that is responsible of
altering the input data to make them easier to be handled by the classifier at
the current stage of the training procedure. The auxiliary network is trained
jointly with the neural classifier, thus intrinsically increasing the 'depth'
of the classifier, and it is expected to spot general regularities in the data
alteration process. The effect of the auxiliary network is progressively
reduced up to the end of training, when it is fully dropped and the classifier
is deployed for applications. We refer to this approach as Neural Friendly
Training. An extended experimental procedure involving several datasets and
different neural architectures shows that Neural Friendly Training overcomes
the originally proposed Friendly Training technique, improving the
generalization of the classifier, especially in the case of noisy data.
- Abstract（参考訳）: ニューラルネットワークの学習手順をより効果的にすることを目的とした様々なアプローチの中で、科学コミュニティは、推定された複雑性に従って例を順序付けしたり、より大きなネットワークから知識を分離したり、敵の機械学習の背後にある原則を活用したりする戦略を開発した。
ニューラルネットワーク分類器の学習プロセスを容易にするために、自動的に推定される摂動を追加することで入力データを変更する、という別のアイデアが最近提案されている。
トレーニングが進む限り、トランスフォーメーションは徐々にフェードアウトし、完全に消えていく。
この研究で、我々はこのアイデアを再考し、拡張し、敵対的機械学習の文脈におけるニューラルジェネレータの有効性に触発された根本的に異なる、新しいアプローチを導入する。
本稿では,学習手順の現段階での分類器による処理を容易にするために,入力データの変更に責任を持つ補助多層ネットワークを提案する。
補助的ネットワークはニューラル分類器と共同で訓練されるので、本質的に分類器の「深度」を増大させ、データ修正プロセスにおける一般的な規則性を見極めることが期待される。
補助ネットワークの効果は、完全に低下し、アプリケーション用に分類器が配置されたときに、訓練の終了まで徐々に減少する。
私たちはこのアプローチを神経フレンドリーなトレーニングと呼びます。
複数のデータセットと異なるニューラルアーキテクチャを含む拡張実験によって、ニューラルネットワークフレンドリーなトレーニングは、当初提案されたフレンドリーなトレーニングテクニックを克服し、分類器の一般化、特にノイズデータの場合の改善が示されている。
関連論文リスト
- Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution [0.0]
分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。
我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。
この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
論文 参考訳（メタデータ） (2024-09-04T03:25:48Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。
本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
論文 参考訳（メタデータ） (2022-06-15T18:35:16Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Friendly Training: Neural Networks Can Adapt Data To Make Learning
Easier [23.886422706697882]
フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。
フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。
その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
論文 参考訳（メタデータ） (2021-06-21T10:50:34Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z) - Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。
オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文 参考訳（メタデータ） (2020-02-17T18:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。