論文の概要: A Mathematical Foundation for Robust Machine Learning based on Bias-Variance Trade-off

• arxiv url: http://arxiv.org/abs/2106.05522v1
• Date: Thu, 10 Jun 2021 06:21:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:15:28.223862
• Title: A Mathematical Foundation for Robust Machine Learning based on Bias-Variance Trade-off
• Title（参考訳）: バイアス分散トレードオフに基づくロバスト機械学習の数学的基礎
• Authors: Ou Wu and Weiyao Zhu and Yingjun Deng and Haixiang Zhang and Qinghu Hou
• Abstract要約: いくつかのサンプルは学習が難しく、いくつかのサンプルはノイズが多く、サンプルの不平等な寄与はトレーニングのパフォーマンスにかなりの影響を及ぼす。 多数の学習アルゴリズムが提案されているが, 難易度・難易度・難易度は異なる。 本研究では、バイアス分散トレードオフ理論に基づいて、ロバスト機械学習(RML)の数学的基礎を構築することを試みる。
• 参考スコア（独自算出の注目度）: 3.3161271977874964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common assumption in machine learning is that samples are independently and identically distributed (i.i.d). However, the contributions of different samples are not identical in training. Some samples are difficult to learn and some samples are noisy. The unequal contributions of samples has a considerable effect on training performances. Studies focusing on unequal sample contributions (e.g., easy, hard, noisy) in learning usually refer to these contributions as robust machine learning (RML). Weighing and regularization are two common techniques in RML. Numerous learning algorithms have been proposed but the strategies for dealing with easy/hard/noisy samples differ or even contradict with different learning algorithms. For example, some strategies take the hard samples first, whereas some strategies take easy first. Conducting a clear comparison for existing RML algorithms in dealing with different samples is difficult due to lack of a unified theoretical framework for RML. This study attempts to construct a mathematical foundation for RML based on the bias-variance trade-off theory. A series of definitions and properties are presented and proved. Several classical learning algorithms are also explained and compared. Improvements of existing methods are obtained based on the comparison. A unified method that combines two classical learning strategies is proposed.
• Abstract（参考訳）: 機械学習における一般的な仮定は、サンプルは独立して同じ分布(d)であるということである。 しかし、異なるサンプルの貢献はトレーニングにおいて同一ではない。 一部のサンプルは学習が困難であり、いくつかのサンプルはうるさい。 サンプルの不平等な貢献は、トレーニングパフォーマンスに大きな影響を与えます。 学習における不平等なサンプル貢献(例えば、簡単、困難、ノイズ)に焦点を当てた研究は通常、これらの貢献を堅牢な機械学習(RML)と呼ぶ。 ウィーディングと正規化はRMLの2つの一般的な手法である。 数多くの学習アルゴリズムが提案されているが、簡単な/ハード/ノイズのサンプルを扱う戦略は異なる学習アルゴリズムと異なる、あるいは矛盾する。 例えば、いくつかの戦略はまずハードサンプルを取るが、いくつかの戦略は最初は簡単である。 既存のRMLアルゴリズムと比較して異なるサンプルを扱うことは、RMLの統一的な理論的枠組みが欠如しているため困難である。 本研究ではバイアス分散トレードオフ理論に基づくRMLの数学的基礎の構築を試みる。 一連の定義と性質が提示され、証明される。 いくつかの古典的学習アルゴリズムも説明され、比較される。 比較により既存の方法の改善が得られた。 2つの古典的学習戦略を組み合わせた統一手法を提案する。

関連論文リスト

• Reciprocal Learning [0.0]
  我々は、機械学習アルゴリズムが1つのパラダイムの特定の例であることを示す。 本稿では,これらのアルゴリズムの一般化として,決定論の言語を用いた相互学習を紹介する。 相反学習アルゴリズムは、損失関数の比較的軽度な仮定の下で、線形速度でほぼ最適なモデルに収束する。
  論文  参考訳（メタデータ） (2024-08-12T16:14:52Z)
• The Cram Method for Efficient Simultaneous Learning and Evaluation [0.9208007322096533]
  同時に学習と評価を行うための汎用的で効率的な手法である「クラム」手法を導入する。 サンプル全体を学習と評価の両方に利用するため、クラミングはサンプル分割よりもはるかにデータ効率が高い。 広範囲にわたるシミュレーション研究により, 試料分離と比較すると, クラミングは標準誤差を40%以上低減することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T04:19:05Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Learning explanations that are hard to vary [75.30552491694066]
  例を越えた平均化は、異なる戦略を縫合する記憶とパッチワークのソリューションに有利であることを示す。 そこで我々は論理ANDに基づく単純な代替アルゴリズムを提案し,実験的に検証する。
  論文  参考訳（メタデータ） (2020-09-01T10:17:48Z)
• Theory and Algorithms for Shapelet-based Multiple-Instance Learning [5.08418565337126]
  本稿では,データ単位がバッグと呼ばれるインスタンスから構成されるMultiple-Instance Learning(MIL)の新たな定式化を提案する。 目標は、"shapelet"(またはパターン)との類似性に基づいて、バッグの優れた分類器を見つけることである。 私たちの定式化では、すべての可能なので、したがって無限に多くのシェイプレットを使い、よりリッチな分類器のクラスを生み出す。
  論文  参考訳（メタデータ） (2020-05-31T17:10:59Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。