論文の概要: Loss Adapted Plasticity in Deep Neural Networks to Learn from Data with
Unreliable Sources
- arxiv url: http://arxiv.org/abs/2212.02895v1
- Date: Tue, 6 Dec 2022 11:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 15:56:11.866684
- Title: Loss Adapted Plasticity in Deep Neural Networks to Learn from Data with
Unreliable Sources
- Title（参考訳）: 信頼できない情報源を用いたデータから学ぶ深層ニューラルネットワークの損失適応可塑性
- Authors: Alexander Capstick, Francesca Palermo, Payam Barnaghi
- Abstract要約: 本研究では,信頼性の高いデータソースと信頼性の低いデータソースを混在させることで,モデル性能を著しく向上させることができることを示す。
この作業の実験を再現し、読者自身のモデルでアルゴリズムを実装するコードはすべて利用可能である。
- 参考スコア（独自算出の注目度）: 69.6462706723023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When data is streaming from multiple sources, conventional training methods
update model weights often assuming the same level of reliability for each
source; that is: a model does not consider data quality of each source during
training. In many applications, sources can have varied levels of noise or
corruption that has negative effects on the learning of a robust deep learning
model. A key issue is that the quality of data or labels for individual sources
is often not available during training and could vary over time. Our solution
to this problem is to consider the mistakes made while training on data
originating from sources and utilise this to create a perceived data quality
for each source. This paper demonstrates a straight-forward and novel technique
that can be applied to any gradient descent optimiser: Update model weights as
a function of the perceived reliability of data sources within a wider data
set. The algorithm controls the plasticity of a given model to weight updates
based on the history of losses from individual data sources. We show that
applying this technique can significantly improve model performance when
trained on a mixture of reliable and unreliable data sources, and maintain
performance when models are trained on data sources that are all considered
reliable. All code to reproduce this work's experiments and implement the
algorithm in the reader's own models is made available.
- Abstract（参考訳）: データが複数のソースからストリーミングされている場合、従来のトレーニング手法では、各ソースに対して同じレベルの信頼性を仮定するモデルの重みを更新することが多い。
多くのアプリケーションでは、ソースはさまざまなレベルのノイズや腐敗を持ち、堅牢なディープラーニングモデルの学習に悪影響を及ぼす可能性がある。
重要な問題は、個々のソースのデータやラベルの品質がトレーニング中に利用できないことが多く、時間とともに変化する可能性があることだ。
この問題に対する我々の解決策は、ソースからのデータをトレーニングしながら犯した間違いを考慮し、これを利用して各ソースに対する認識されたデータ品質を作成することです。
本稿では,任意の勾配降下オプティマイザに適用可能な,直進的かつ斬新な手法を示す: より広いデータセット内のデータソースの認識信頼性の関数として,モデル重みを更新する。
アルゴリズムは与えられたモデルの可塑性を制御し、個々のデータソースからの損失履歴に基づいて更新を重み付けする。
本研究では,信頼性のあるデータソースと信頼性の低いデータソースを混合してトレーニングした場合のモデル性能を著しく向上させ,信頼性の高いデータソース上でモデルがトレーニングされた場合のパフォーマンスを維持できることを示す。
この作業の実験を再現し、読者自身のモデルでアルゴリズムを実装するコードはすべて利用可能である。
関連論文リスト
- Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。
オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。
提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文 参考訳（メタデータ） (2024-08-05T03:18:58Z) - Enhancing Data Quality in Federated Fine-Tuning of Foundation Models [54.757324343062734]
本稿では,基礎モデルのファインチューニングのためのデータ品質制御パイプラインを提案する。
このパイプラインは、トレーニングデータの質を反映したスコアを計算し、統一された標準のグローバルしきい値を決定する。
実験の結果,提案した品質制御パイプラインはモデルトレーニングの有効性と信頼性を向上し,性能が向上することが示された。
論文 参考訳（メタデータ） (2024-03-07T14:28:04Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Probabilistic Neural Data Fusion for Learning from an Arbitrary Number
of Multi-fidelity Data Sets [0.0]
本稿では,データ融合にニューラルネットワーク(NN)を用いる。
本稿では,MFモデリングを非線形多様体学習問題に変換するユニークなNNアーキテクチャを提案する。
我々のアプローチは、様々な情報源の不確実性を定量化しながら、高い予測力を提供します。
論文 参考訳（メタデータ） (2023-01-30T20:27:55Z) - Unsupervised Audio Source Separation Using Differentiable Parametric
Source Models [8.80867379881193]
本研究では,教師なしモデルに基づく深層学習手法を提案する。
ニューラルネットワークは、観測された混合物をソースの和として再構成するように訓練される。
音声アンサンブル分離タスクの実験評価により,提案手法が学習自由法より優れていることが示された。
論文 参考訳（メタデータ） (2022-01-24T11:05:30Z) - Deep Transfer Learning for Multi-source Entity Linkage via Domain
Adaptation [63.24594955429465]
マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。
AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。
本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
論文 参考訳（メタデータ） (2021-10-27T15:20:41Z) - Evaluating the Values of Sources in Transfer Learning [38.93955146476584]
SEAL-Shapは、ソースの有用性を定量化する効率的なソース評価フレームワークである。
我々のフレームワークは有用な転送ソースを選択するのに有効であるだけでなく、ソース値も直感的なソースとターゲットの類似性にマッチする。
論文 参考訳（メタデータ） (2021-04-26T13:35:24Z) - Bias-Aware Loss for Training Image and Speech Quality Prediction Models
from Multiple Datasets [13.132388683797503]
学習中の各データセットのバイアスを線形関数で推定するバイアス認識損失関数を提案する。
合成および主観的画像および音声品質データセットにおける品質予測モデルの訓練と検証により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-04-20T19:20:11Z) - Unsupervised Multi-source Domain Adaptation Without Access to Source
Data [58.551861130011886]
Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。
本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-05T10:45:12Z) - Sample-based Regularization: A Transfer Learning Strategy Toward Better
Generalization [8.432864879027724]
少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。
私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。
大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
論文 参考訳（メタデータ） (2020-07-10T06:02:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。