論文の概要: Learning Purified Feature Representations from Task-irrelevant Labels

• arxiv url: http://arxiv.org/abs/2102.10955v1
• Date: Mon, 22 Feb 2021 12:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 08:44:01.560310
• Title: Learning Purified Feature Representations from Task-irrelevant Labels
• Title（参考訳）: タスク関連ラベルからの純粋特徴表現の学習
• Authors: Yinghui Li, Ruiyang Liu, Chen Wang, Li Yangning, Ning Ding, Hai-Tao Zheng
• Abstract要約: 本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
• 参考スコア（独自算出の注目度）: 18.967445416679624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning an empirically effective model with generalization using limited data is a challenging task for deep neural networks. In this paper, we propose a novel learning framework called PurifiedLearning to exploit task-irrelevant features extracted from task-irrelevant labels when training models on small-scale datasets. Particularly, we purify feature representations by using the expression of task-irrelevant information, thus facilitating the learning process of classification. Our work is built on solid theoretical analysis and extensive experiments, which demonstrate the effectiveness of PurifiedLearning. According to the theory we proved, PurifiedLearning is model-agnostic and doesn't have any restrictions on the model needed, so it can be combined with any existing deep neural networks with ease to achieve better performance. The source code of this paper will be available in the future for reproducibility.
• Abstract（参考訳）: 限られたデータで一般化した経験的有効モデルを学ぶことは、ディープニューラルネットワークにとって難しい課題である。 本論文では,小規模データセットのトレーニングモデルにおいて,タスク非関連ラベルから抽出したタスク非関連機能を利用するための,PureifiedLearningという新しい学習フレームワークを提案する。 特に,タスク関連情報の表現を用いて特徴表現を浄化し,分類の学習プロセスを容易にする。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。 証明した理論によると、PurifiedLearningはモデルに依存しないため、必要なモデルに制限はないため、既存のディープニューラルネットワークと組み合わせて、より優れたパフォーマンスを実現することができます。 この論文のソースコードは、再現性のために将来利用可能になる予定です。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features [18.321479102352875]
  ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。 実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。 勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
  論文  参考訳（メタデータ） (2022-06-03T17:49:38Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Gradients as Features for Deep Representation Learning [26.996104074384263]
  本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。 我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。 我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-12T02:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。