論文の概要: Cost-Sensitive Self-Training for Optimizing Non-Decomposable Metrics

• arxiv url: http://arxiv.org/abs/2304.14738v1
• Date: Fri, 28 Apr 2023 10:31:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 14:36:38.060915
• Title: Cost-Sensitive Self-Training for Optimizing Non-Decomposable Metrics
• Title（参考訳）: 非分解性メトリクスの最適化のためのコスト感性自己評価
• Authors: Harsh Rangwani, Shrinivas Ramasubramanian, Sho Takemori, Kato Takashi, Yuhei Umeda, Venkatesh Babu Radhakrishnan
• Abstract要約: 本稿では,非分解性メトリクスを最適化するための自己学習手法を一般化したCSSTフレームワークを紹介する。 以上の結果から,CSSTはデータセットや目的にまたがるほとんどのケースにおいて,最先端の改善を実現していることが示された。
• 参考スコア（独自算出の注目度）: 9.741019160068388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training based semi-supervised learning algorithms have enabled the learning of highly accurate deep neural networks, using only a fraction of labeled data. However, the majority of work on self-training has focused on the objective of improving accuracy, whereas practical machine learning systems can have complex goals (e.g. maximizing the minimum of recall across classes, etc.) that are non-decomposable in nature. In this work, we introduce the Cost-Sensitive Self-Training (CSST) framework which generalizes the self-training-based methods for optimizing non-decomposable metrics. We prove that our framework can better optimize the desired non-decomposable metric utilizing unlabeled data, under similar data distribution assumptions made for the analysis of self-training. Using the proposed CSST framework, we obtain practical self-training methods (for both vision and NLP tasks) for optimizing different non-decomposable metrics using deep neural networks. Our results demonstrate that CSST achieves an improvement over the state-of-the-art in majority of the cases across datasets and objectives.
• Abstract（参考訳）: 自己学習に基づく半教師付き学習アルゴリズムは、ラベル付きデータのほんの一部を使用して、高精度なディープニューラルネットワークの学習を可能にした。 しかし、自己学習の研究の大半は精度向上の目標に重点を置いているのに対し、実践的な機械学習システムは本質的には分解不可能な複雑な目標(クラス間のリコールの最小限の最大化など)を持つことができる。 本研究では,非分解性メトリクスを最適化するための自己学習手法を一般化したCSSTフレームワークを提案する。 我々は,本フレームワークが,自己学習分析のための類似データ分布仮定に基づいて,ラベルなしデータを利用した望ましくないメトリクスを最適化できることを示す。 提案したCSSTフレームワークを用いて、ディープニューラルネットワークを用いて異なる非分解性メトリクスを最適化するための実践的な自己学習手法(ビジョンとNLPタスクの両方)を得る。 以上の結果から,CSSTはデータセットや目的にまたがるほとんどのケースにおいて,最先端の改善を実現していることが示された。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Can we achieve robustness from data alone? [0.7366405857677227]
  敵の訓練とその変種は、ニューラルネットワークを用いた敵の堅牢な分類を実現するための一般的な方法となっている。 そこで我々は,ロバストな分類のためのメタラーニング手法を考案し,その展開前のデータセットを原則的に最適化する。 MNIST と CIFAR-10 の実験により、我々が生成するデータセットはPGD 攻撃に対して非常に高い堅牢性を持つことが示された。
  論文  参考訳（メタデータ） (2022-07-24T12:14:48Z)
• Training Neural Networks using SAT solvers [1.0152838128195465]
  本稿では,SATソルバを用いてニューラルネットワークのトレーニングを行うグローバル最適化手法を提案する。 実験では,パリティ学習などのタスクにおいて,ADAMオプティマイザに対するアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2022-06-10T01:31:12Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Training With Data Dependent Dynamic Learning Rates [8.833548357664608]
  本稿では,インスタンス間の損失関数特性の違いを考慮に入れた最適化フレームワークを提案する。 我々のフレームワークはデータセットに存在する各インスタンスの動的学習率を学習する。 我々のフレームワークは、機械学習モデルのパーソナライズに、既知のターゲットデータ分布に対して使用できることを示す。
  論文  参考訳（メタデータ） (2021-05-27T21:52:29Z)
• Learning Robust Beamforming for MISO Downlink Systems [14.429561340880074]
  基地局は、不完全なチャネル状態情報(CSI)とその特徴だけで効率的なマルチアンテナ伝送戦略を特定する。 深層ニューラルネットワーク(DNN)を実世界の伝播環境に合わせて最適化した堅牢なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-02T09:56:35Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。