論文の概要: Nonlinear Monte Carlo Method for Imbalanced Data Learning

• arxiv url: http://arxiv.org/abs/2010.14060v2
• Date: Thu, 27 May 2021 11:44:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:23:01.118515
• Title: Nonlinear Monte Carlo Method for Imbalanced Data Learning
• Title（参考訳）: 不均衡データ学習のための非線形モンテカルロ法
• Authors: Xuli Shen, Qing Xu, Xiangyang Xue
• Abstract要約: 機械学習問題では、予測誤差を用いてモデル性能を評価する。 非線形期待理論の枠組みに着想を得て、損失関数の平均値を部分群平均損失の最大値に置き換える。 トレーニングステップの少ないSOTAバックボーンモデルよりも優れたパフォーマンスを実現し、基本的な回帰と不均衡な分類タスクに対する堅牢性を向上する。
• 参考スコア（独自算出の注目度）: 43.17123077368725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For basic machine learning problems, expected error is used to evaluate model performance. Since the distribution of data is usually unknown, we can make simple hypothesis that the data are sampled independently and identically distributed (i.i.d.) and the mean value of loss function is used as the empirical risk by Law of Large Numbers (LLN). This is known as the Monte Carlo method. However, when LLN is not applicable, such as imbalanced data problems, empirical risk will cause overfitting and might decrease robustness and generalization ability. Inspired by the framework of nonlinear expectation theory, we substitute the mean value of loss function with the maximum value of subgroup mean loss. We call it nonlinear Monte Carlo method. In order to use numerical method of optimization, we linearize and smooth the functional of maximum empirical risk and get the descent direction via quadratic programming. With the proposed method, we achieve better performance than SOTA backbone models with less training steps, and more robustness for basic regression and imbalanced classification tasks.
• Abstract（参考訳）: 基本的機械学習問題に対しては、予測誤差を用いてモデル性能を評価する。 データの分布は通常不明であるため、データを独立にサンプリングし、同一に分散する(すなわち、損失関数の平均値は、大数法則(LLN)による経験的リスクとして用いられる)という単純な仮説を立てることができる。 これはモンテカルロ法として知られている。 しかし、不均衡なデータ問題などLLNが適用されない場合、経験的リスクは過度に適合し、堅牢性と一般化能力が低下する可能性がある。 非線形期待理論の枠組みに着想を得て,損失関数の平均値を部分群平均損失の最大値に置き換える。 これを非線形モンテカルロ法と呼ぶ。 最適化の数値的手法を利用するために,最大経験的リスクの関数を線形化・平滑化し,二次計画による降下方向を得る。 提案手法により,訓練手順の少ないSOTAバックボーンモデルよりも性能が向上し,基本回帰および非バランスな分類タスクに対する堅牢性が向上する。

関連論文リスト

• Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning [28.059563581973432]
  LLM(Large Language Models)は、事前トレーニング中に機密性のある、プライベートな、あるいは著作権のあるデータを持つことが多い。 LLMは、事前学習されたモデルから望ましくないデータの影響を取り除くことを目的としている。 我々は、ターゲットデータセットを効率的に解放できる単純なアライメントにインスパイアされた方法として、NPO(Negative Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-04-08T21:05:42Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• On Learning Mixture of Linear Regressions in the Non-Realizable Setting [44.307245411703704]
  線形回帰(MLR)の混合はラベルを予測せずに値のリストを予測できることを示す。 本稿では,一般的な最小化 (AM) アルゴリズムのバージョンが,実現可能なモデルが仮定されていない場合でも,データセットに最も適した線を見つけることを示す。
  論文  参考訳（メタデータ） (2022-05-26T05:34:57Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Meta-learning with negative learning rates [3.42658286826597]
  ディープラーニングモデルは、よく機能するために大量のデータを必要とします。 対象タスクにデータが不足している場合には、類似タスクのトレーニングによって得られた知識を転送して、ターゲットを素早く学習することができる。 成功しているアプローチはメタラーニング(メタラーニング)、あるいは、学習が外ループで表されるタスクの分布を学習し、勾配降下の内側ループで学習する学習である。
  論文  参考訳（メタデータ） (2021-02-01T16:14:14Z)
• Is Pessimism Provably Efficient for Offline RL? [104.00628430454479]
  優先度を収集したデータセットに基づいて最適なポリシーを学ぶことを目的としたオフライン強化学習(RL)について検討する。 ペナルティ関数として不確かさ量化器を組み込んだ値反復アルゴリズム(pevi)の悲観的変種を提案する。
  論文  参考訳（メタデータ） (2020-12-30T09:06:57Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction [4.860671253873579]
  本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。 我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
  論文  参考訳（メタデータ） (2020-09-01T17:55:51Z)
• A Loss-Function for Causal Machine-Learning [0.0]
  因果機械学習は、治療のネットエフェクト(真のリフト)を予測することである。 データにポイントワイド真の値がないため、同様のよく定義された損失関数は存在しない。 この文脈で損失関数を定義する新しい手法を提案し、これは標準回帰問題における平均二乗誤差(MSE)と等しい。
  論文  参考訳（メタデータ） (2020-01-02T21:22:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。