論文の概要: Loss Adapted Plasticity in Deep Neural Networks to Learn from Data with
Unreliable Sources
- arxiv url: http://arxiv.org/abs/2212.02895v1
- Date: Tue, 6 Dec 2022 11:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 15:56:11.866684
- Title: Loss Adapted Plasticity in Deep Neural Networks to Learn from Data with
Unreliable Sources
- Title(参考訳): 信頼できない情報源を用いたデータから学ぶ深層ニューラルネットワークの損失適応可塑性
- Authors: Alexander Capstick, Francesca Palermo, Payam Barnaghi
- Abstract要約: 本研究では,信頼性の高いデータソースと信頼性の低いデータソースを混在させることで,モデル性能を著しく向上させることができることを示す。
この作業の実験を再現し、読者自身のモデルでアルゴリズムを実装するコードはすべて利用可能である。
- 参考スコア(独自算出の注目度): 69.6462706723023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When data is streaming from multiple sources, conventional training methods
update model weights often assuming the same level of reliability for each
source; that is: a model does not consider data quality of each source during
training. In many applications, sources can have varied levels of noise or
corruption that has negative effects on the learning of a robust deep learning
model. A key issue is that the quality of data or labels for individual sources
is often not available during training and could vary over time. Our solution
to this problem is to consider the mistakes made while training on data
originating from sources and utilise this to create a perceived data quality
for each source. This paper demonstrates a straight-forward and novel technique
that can be applied to any gradient descent optimiser: Update model weights as
a function of the perceived reliability of data sources within a wider data
set. The algorithm controls the plasticity of a given model to weight updates
based on the history of losses from individual data sources. We show that
applying this technique can significantly improve model performance when
trained on a mixture of reliable and unreliable data sources, and maintain
performance when models are trained on data sources that are all considered
reliable. All code to reproduce this work's experiments and implement the
algorithm in the reader's own models is made available.
- Abstract(参考訳): データが複数のソースからストリーミングされている場合、従来のトレーニング手法では、各ソースに対して同じレベルの信頼性を仮定するモデルの重みを更新することが多い。
多くのアプリケーションでは、ソースはさまざまなレベルのノイズや腐敗を持ち、堅牢なディープラーニングモデルの学習に悪影響を及ぼす可能性がある。
重要な問題は、個々のソースのデータやラベルの品質がトレーニング中に利用できないことが多く、時間とともに変化する可能性があることだ。
この問題に対する我々の解決策は、ソースからのデータをトレーニングしながら犯した間違いを考慮し、これを利用して各ソースに対する認識されたデータ品質を作成することです。
本稿では,任意の勾配降下オプティマイザに適用可能な,直進的かつ斬新な手法を示す: より広いデータセット内のデータソースの認識信頼性の関数として,モデル重みを更新する。
アルゴリズムは与えられたモデルの可塑性を制御し、個々のデータソースからの損失履歴に基づいて更新を重み付けする。
本研究では,信頼性のあるデータソースと信頼性の低いデータソースを混合してトレーニングした場合のモデル性能を著しく向上させ,信頼性の高いデータソース上でモデルがトレーニングされた場合のパフォーマンスを維持できることを示す。
この作業の実験を再現し、読者自身のモデルでアルゴリズムを実装するコードはすべて利用可能である。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - RLBoost: Boosting Supervised Models using Deep Reinforcement Learning [0.0]
RLBoostは、深層強化学習戦略を用いて、特定のデータセットを評価し、新しいデータの品質を推定できるモデルを得るアルゴリズムである。
論文の結果から, このモデルでは, LOO, DataShapley, DVRLなどの最先端アルゴリズムよりも, より優れた, より安定した結果が得られることが示された。
論文 参考訳(メタデータ) (2023-05-23T14:38:33Z) - Analyzing Effects of Fake Training Data on the Performance of Deep
Learning Systems [0.0]
ディープラーニングモデルは、クラス不均衡や分散シフトに対する堅牢性の欠如など、さまざまな問題に悩まされることが多い。
GAN(Generative Adversarial Networks)の出現により、高品質な合成データを生成することが可能になった。
本研究では, 各種合成データと原データとを混合した場合, アウト・オブ・ディストリビューションデータに対するモデルの堅牢性と, 予測の一般品質に影響を及ぼす影響を解析する。
論文 参考訳(メタデータ) (2023-03-02T13:53:22Z) - Probabilistic Neural Data Fusion for Learning from an Arbitrary Number
of Multi-fidelity Data Sets [0.0]
本稿では,データ融合にニューラルネットワーク(NN)を用いる。
本稿では,MFモデリングを非線形多様体学習問題に変換するユニークなNNアーキテクチャを提案する。
我々のアプローチは、様々な情報源の不確実性を定量化しながら、高い予測力を提供します。
論文 参考訳(メタデータ) (2023-01-30T20:27:55Z) - Unsupervised Audio Source Separation Using Differentiable Parametric
Source Models [8.80867379881193]
本研究では,教師なしモデルに基づく深層学習手法を提案する。
ニューラルネットワークは、観測された混合物をソースの和として再構成するように訓練される。
音声アンサンブル分離タスクの実験評価により,提案手法が学習自由法より優れていることが示された。
論文 参考訳(メタデータ) (2022-01-24T11:05:30Z) - Deep Transfer Learning for Multi-source Entity Linkage via Domain
Adaptation [63.24594955429465]
マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。
AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。
本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
論文 参考訳(メタデータ) (2021-10-27T15:20:41Z) - Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文 参考訳(メタデータ) (2021-04-20T17:16:41Z) - Unsupervised Multi-source Domain Adaptation Without Access to Source
Data [58.551861130011886]
Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。
本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-05T10:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。