論文の概要: Corruption-tolerant Algorithms for Generalized Linear Models
- arxiv url: http://arxiv.org/abs/2212.05430v1
- Date: Sun, 11 Dec 2022 07:08:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 15:26:09.856187
- Title: Corruption-tolerant Algorithms for Generalized Linear Models
- Title(参考訳): 一般線形モデルに対する破壊耐性アルゴリズム
- Authors: Bhaskar P Mukhoty and Debojyoti Dey and Purushottam Kar
- Abstract要約: SVAM(Sequential Variance-Altered MLE)は、汎用線形モデルを学ぶための統一的なフレームワークである。
SVAMは、独立した関心を持つ可能性のある、新しい分散還元技術に基づいている。
- 参考スコア(独自算出の注目度): 4.127284659744835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents SVAM (Sequential Variance-Altered MLE), a unified
framework for learning generalized linear models under adversarial label
corruption in training data. SVAM extends to tasks such as least squares
regression, logistic regression, and gamma regression, whereas many existing
works on learning with label corruptions focus only on least squares
regression. SVAM is based on a novel variance reduction technique that may be
of independent interest and works by iteratively solving weighted MLEs over
variance-altered versions of the GLM objective. SVAM offers provable model
recovery guarantees superior to the state-of-the-art for robust regression even
when a constant fraction of training labels are adversarially corrupted. SVAM
also empirically outperforms several existing problem-specific techniques for
robust regression and classification. Code for SVAM is available at
https://github.com/purushottamkar/svam/
- Abstract(参考訳): 本稿では,SVAM(Sequential Variance-Altered MLE)について述べる。
svamは最小二乗回帰、ロジスティック回帰、ガンマ回帰といったタスクに拡張されるが、ラベル破壊で学習する多くの既存の作業は最小二乗回帰のみに焦点を当てている。
SVAMは、独立した関心を持つ可能性のある新しい分散還元技術に基づいており、GLM目標の分散修飾バージョンよりも重み付きMLEを反復的に解くことで機能する。
SVAMは、一定の数のトレーニングラベルが逆向きに破損しても、堅牢な回帰のために最先端のモデル回復を保証する。
SVAMはまた、堅牢な回帰と分類のための既存の問題固有のテクニックを経験的に上回っている。
SVAMのコードはhttps://github.com/purushottamkar/svam/で入手できる。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Towards Robust Model-Based Reinforcement Learning Against Adversarial
Corruption [66.5930514142814]
本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。
本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。
我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-14T07:27:30Z) - A Novel Approach in Solving Stochastic Generalized Linear Regression via
Nonconvex Programming [1.6874375111244329]
本稿では,一般化線形回帰モデルについて,確率制約問題として考察する。
提案アルゴリズムの結果は,通常のロジスティック回帰モデルよりも1~2%以上よい結果を得た。
論文 参考訳(メタデータ) (2024-01-16T16:45:51Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Streaming Active Learning for Regression Problems Using Regression via
Classification [12.572218568705376]
本稿では,回帰学習のためのストリーミング能動学習にレグレッション・ウィズ・クラス化フレームワークを用いることを提案する。
レグレッション・ウィズ・クラス化は回帰問題を分類問題に変換し、ストリーミング能動学習法を回帰問題に直接適用できるようにする。
論文 参考訳(メタデータ) (2023-09-02T20:24:24Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - Mutual Information Learned Regressor: an Information-theoretic Viewpoint
of Training Regression Systems [10.314518385506007]
回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。
近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。
本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
論文 参考訳(メタデータ) (2022-11-23T03:43:22Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。