論文の概要: COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization

• arxiv url: http://arxiv.org/abs/2004.12443v1
• Date: Sun, 26 Apr 2020 17:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 13:10:21.470658
• Title: COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization
• Title（参考訳）: COLAM: 置換最小化によるディープニューラルネットワークとソフトラベルの共同学習
• Authors: Xingjian Li, Haoyi Xiong, Haozhe An, Dejing Dou, Chengzhong Xu
• Abstract要約: 2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 60.07531696857743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Softening labels of training datasets with respect to data representations has been frequently used to improve the training of deep neural networks (DNNs). While such a practice has been studied as a way to leverage privileged information about the distribution of the data, a well-trained learner with soft classification outputs should be first obtained as a prior to generate such privileged information. To solve such chicken-egg problem, we propose COLAM framework that Co-Learns DNNs and soft labels through Alternating Minimization of two objectives - (a) the training loss subject to soft labels and (b) the objective to learn improved soft labels - in one end-to-end training procedure. We performed extensive experiments to compare our proposed method with a series of baselines. The experiment results show that COLAM achieves improved performance on many tasks with better testing classification accuracy. We also provide both qualitative and quantitative analyses that explain why COLAM works well.
• Abstract（参考訳）: データ表現に関するトレーニングデータセットのラベルの軟化は、ディープニューラルネットワーク(DNN)のトレーニングを改善するために頻繁に使用されている。 このような実践は、データの分布に関する特権情報を活用する手段として研究されているが、ソフトな分類出力を持つ訓練済みの学習者は、その特権情報を生成するための事前情報として最初に取得すべきである。 このようなニワトリ卵問題の解決を目的として,2つの目的の交互最小化によるDNNとソフトラベルを共学習するCOLAMフレームワークを提案する。 (a)ソフトラベルによるトレーニング損失、及び b) 改良されたソフトラベルを学習する目的 - エンドツーエンドのトレーニング手順。 提案手法を一連のベースラインと比較するために,広範囲な実験を行った。 実験結果から,COLAMは多くのタスクにおける性能向上を実現し,評価精度が向上した。 また、COLAMがなぜうまく機能するのかを定性的および定量的に分析する。

関連論文リスト

• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• Active Learning for Deep Visual Tracking [51.5063680734122]
  畳み込みニューラルネットワーク(CNN)は近年,単一目標追跡タスクに成功している。 本稿では,ディープ・ビジュアル・トラッキングのためのアクティブ・ラーニング手法を提案する。 アクティブラーニングの指導のもと、トレーニングされた深層CNNモデルに基づくトラッカーは、ラベリングコストを低減しつつ、競合的なトラッキング性能を達成することができる。
  論文  参考訳（メタデータ） (2021-10-17T11:47:56Z)
• When Deep Learners Change Their Mind: Learning Dynamics for Active Learning [32.792098711779424]
  本稿では,情報量に基づく能動的学習手法を提案する。 我々の測度はニューラルネットワークの学習力学から導かれる。 ラベル分散はネットワークの不確実性の予測因子として有望であることを示す。
  論文  参考訳（メタデータ） (2021-07-30T15:30:17Z)
• Learning Robust Variational Information Bottleneck with Reference [12.743882133781598]
  変動情報ボトルネック(VIB)を訓練する新しいアプローチを提案し、その堅牢性を敵対的な摂動に改善する。 事前に訓練された参照ニューラルネットワークから得られるソフトラベルを用いて、トレーニングフェーズの分類クラス情報を洗練します。
  論文  参考訳（メタデータ） (2021-04-29T14:46:09Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Iterative Label Improvement: Robust Training by Confidence Based Filtering and Dataset Partitioning [5.1293809610257775]
  最先端、高容量のディープニューラルネットワークは、大量のラベル付きトレーニングデータを必要とする。 また、このデータにエラーをラベル付けする可能性も高い。 本稿では,安価な非競合データを使用することのできる新しいメタトレーニング・ラベリング手法を提案する。
  論文  参考訳（メタデータ） (2020-02-07T10:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。