論文の概要: Training Neural Networks on Data Sources with Unknown Reliability

• arxiv url: http://arxiv.org/abs/2212.02895v2
• Date: Fri, 30 Aug 2024 09:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 20:50:35.759088
• Title: Training Neural Networks on Data Sources with Unknown Reliability
• Title（参考訳）: 信頼性の不明なデータソース上のニューラルネットワークのトレーニング
• Authors: Alexander Capstick, Francesca Palermo, Tianyu Cui, Payam Barnaghi,
• Abstract要約: この研究は、ソースの推定相対信頼性に比例した多くのステップで、各データソース上でニューラルネットワークをトレーニングすることを目的としたソリューションを提案する。 様々な実験を通して、信頼性と信頼性の低いデータソースの混合でトレーニングすると、モデルの性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 45.903073137443116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When data is generated by multiple sources, conventional training methods update models assuming equal reliability for each source and do not consider their individual data quality during training. However, in many applications, sources have varied levels of reliability that can have negative effects on the performance of a neural network. A key issue is that often the quality of data for individual sources is not known during training. Focusing on supervised learning, this work presents a solution that aims to train neural networks on each data source for a number of steps proportional to the source's estimated relative reliability. This way, we allow training on all sources during the warm-up, and reduce learning on less reliable sources during the final training stages, when it has been shown models overfit to noise. We show through diverse experiments, this can significantly improve model performance when trained on mixtures of reliable and unreliable data sources, and maintain performance when models are trained on reliable sources only.
• Abstract（参考訳）: 複数のソースからデータを生成する場合、従来のトレーニング手法では、各ソースに等しい信頼性を仮定するモデルを更新し、トレーニング中に個々のデータ品質を考慮しない。 しかし、多くのアプリケーションにおいて、ソースは様々なレベルの信頼性を持ち、ニューラルネットワークの性能に悪影響を及ぼす可能性がある。 重要な問題は、トレーニング中に個々のソースのデータの品質が分かっていないことが多いことだ。 教師付き学習に焦点を当てたこの研究は、ソースの推定相対信頼性に比例した多くのステップで、各データソース上でニューラルネットワークをトレーニングすることを目的としたソリューションを提供する。 このようにして、ウォームアップ中のすべてのソースでのトレーニングを可能にし、最終トレーニング段階での信頼性の低いソースでの学習を減らし、モデルがノイズに過度に適応していることを示す。 各種実験を通して、信頼性のあるデータソースと信頼性の低いデータソースを混合してトレーニングした場合のモデル性能を著しく向上させ、信頼性のあるデータソースのみでモデルがトレーニングされた場合のパフォーマンスを維持できることを示す。

関連論文リスト

• Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
  本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。 オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。 提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
  論文  参考訳（メタデータ） (2024-08-05T03:18:58Z)
• Enhancing Data Quality in Federated Fine-Tuning of Foundation Models [54.757324343062734]
  本稿では,基礎モデルのファインチューニングのためのデータ品質制御パイプラインを提案する。 このパイプラインは、トレーニングデータの質を反映したスコアを計算し、統一された標準のグローバルしきい値を決定する。 実験の結果,提案した品質制御パイプラインはモデルトレーニングの有効性と信頼性を向上し,性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-03-07T14:28:04Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Probabilistic Neural Data Fusion for Learning from an Arbitrary Number of Multi-fidelity Data Sets [0.0]
  本稿では,データ融合にニューラルネットワーク(NN)を用いる。 本稿では,MFモデリングを非線形多様体学習問題に変換するユニークなNNアーキテクチャを提案する。 我々のアプローチは、様々な情報源の不確実性を定量化しながら、高い予測力を提供します。
  論文  参考訳（メタデータ） (2023-01-30T20:27:55Z)
• Unsupervised Audio Source Separation Using Differentiable Parametric Source Models [8.80867379881193]
  本研究では,教師なしモデルに基づく深層学習手法を提案する。 ニューラルネットワークは、観測された混合物をソースの和として再構成するように訓練される。 音声アンサンブル分離タスクの実験評価により,提案手法が学習自由法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-24T11:05:30Z)
• Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation [63.24594955429465]
  マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。 AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。 本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
  論文  参考訳（メタデータ） (2021-10-27T15:20:41Z)
• Evaluating the Values of Sources in Transfer Learning [38.93955146476584]
  SEAL-Shapは、ソースの有用性を定量化する効率的なソース評価フレームワークである。 我々のフレームワークは有用な転送ソースを選択するのに有効であるだけでなく、ソース値も直感的なソースとターゲットの類似性にマッチする。
  論文  参考訳（メタデータ） (2021-04-26T13:35:24Z)
• Bias-Aware Loss for Training Image and Speech Quality Prediction Models from Multiple Datasets [13.132388683797503]
  学習中の各データセットのバイアスを線形関数で推定するバイアス認識損失関数を提案する。 合成および主観的画像および音声品質データセットにおける品質予測モデルの訓練と検証により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-20T19:20:11Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)
• Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
  少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。 私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。 大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
  論文  参考訳（メタデータ） (2020-07-10T06:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。