論文の概要: Smoothly Giving up: Robustness for Simple Models

• arxiv url: http://arxiv.org/abs/2302.09114v1
• Date: Fri, 17 Feb 2023 19:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 20:27:45.291580
• Title: Smoothly Giving up: Robustness for Simple Models
• Title（参考訳）: スムーズに諦める:単純なモデルの堅牢性
• Authors: Tyler Sypherd, Nathan Stromberg, Richard Nock, Visar Berisha, and Lalitha Sankar
• Abstract要約: このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。 また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
• 参考スコア（独自算出の注目度）: 30.56684535186692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a growing need for models that are interpretable and have reduced energy and computational cost (e.g., in health care analytics and federated learning). Examples of algorithms to train such models include logistic regression and boosting. However, one challenge facing these algorithms is that they provably suffer from label noise; this has been attributed to the joint interaction between oft-used convex loss functions and simpler hypothesis classes, resulting in too much emphasis being placed on outliers. In this work, we use the margin-based $\alpha$-loss, which continuously tunes between canonical convex and quasi-convex losses, to robustly train simple models. We show that the $\alpha$ hyperparameter smoothly introduces non-convexity and offers the benefit of "giving up" on noisy training examples. We also provide results on the Long-Servedio dataset for boosting and a COVID-19 survey dataset for logistic regression, highlighting the efficacy of our approach across multiple relevant domains.
• Abstract（参考訳）: 解釈可能で、エネルギーと計算コスト(医療分析や連合学習など)を削減できるモデルの必要性が高まっている。 このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 しかし、これらのアルゴリズムが直面する課題の一つは、ラベルノイズに苦しんでいることであり、これはoftで使われる凸損失関数とより単純な仮説クラスとの相互作用が原因であり、結果として外れ値に重きを置きすぎている。 本研究では、正準凸損失と準凸損失を連続的に調律するマージンベースの$\alpha$-lossを用いて、単純なモデルを堅牢に訓練する。 我々は、$\alpha$ hyperparameterが非凸性を円滑に導入し、ノイズの多いトレーニング例で"感謝"する利点を提供することを示した。 また、ロジスティック回帰のためのLong-ServedioデータセットとCOVID-19調査データセットも提供し、複数の関連ドメインにわたるアプローチの有効性を強調した。

関連論文リスト

• RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold [41.28168368547099]
  モデル生成合成データのトレーニングは、LLMを微調整する上で有望なアプローチであるが、それがいつ役に立つかは、まだ不明である。 ステップごとの負のトレーニングは、ポジティブなデータにおける突発的な相関を解き放つのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-20T17:45:54Z)
• A Unified Approach to Learning Ising Models: Beyond Independence and Bounded Width [7.605563562103568]
  我々はIsingモデルの基本パラメータをデータから効率的に学習する問題を再考する。 ノード単位のロジスティック回帰に基づく単純な既存手法が、いくつかの新しい設定で基盤モデルの回復に成功していることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:41:19Z)
• FABind: Fast and Accurate Protein-Ligand Binding [127.7790493202716]
  $mathbfFABind$はポケット予測とドッキングを組み合わせたエンドツーエンドモデルで、正確で高速なタンパク質-リガンド結合を実現する。 提案モデルでは,既存手法と比較して有効性と効率性に強い利点が示される。
  論文  参考訳（メタデータ） (2023-10-10T16:39:47Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Surprises in adversarially-trained linear regression [12.33259114006129]
  敵の訓練はこのような例に対して最も効果的なアプローチの1つである。 本稿では,線形回帰問題に対して,凸問題として逆行訓練を定式化できることを述べる。 十分に多くの特徴や十分小さな正規化パラメータに対して、学習されたモデルはトレーニングデータを完全に補間することを示す。
  論文  参考訳（メタデータ） (2022-05-25T11:54:42Z)
• ReLU Regression with Massart Noise [52.10842036932169]
  本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。 我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。 このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-10T02:13:22Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。