論文の概要: Outlier-Robust Training of Machine Learning Models

• arxiv url: http://arxiv.org/abs/2501.00265v1
• Date: Tue, 31 Dec 2024 04:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:00.059222
• Title: Outlier-Robust Training of Machine Learning Models
• Title（参考訳）: 機械学習モデルのアウトリー・ロバスト学習
• Authors: Rajat Talak, Charis Georgiou, Jingnan Shi, Luca Carlone,
• Abstract要約: 本稿では,外部学習を用いた機械学習モデルの学習のための適応交替アルゴリズムを提案する。 アルゴリズムは、各重みを更新しながら、非ロバスト損失の重み付きバージョンを使用してモデルを反復的に訓練する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核のシグマの使用は収束の領域を増大させる。
• 参考スコア（独自算出の注目度）: 21.352210662488112
• License:
• Abstract: Robust training of machine learning models in the presence of outliers has garnered attention across various domains. The use of robust losses is a popular approach and is known to mitigate the impact of outliers. We bring to light two literatures that have diverged in their ways of designing robust losses: one using M-estimation, which is popular in robotics and computer vision, and another using a risk-minimization framework, which is popular in deep learning. We first show that a simple modification of the Black-Rangarajan duality provides a unifying view. The modified duality brings out a definition of a robust loss kernel $\sigma$ that is satisfied by robust losses in both the literatures. Secondly, using the modified duality, we propose an Adaptive Alternation Algorithm (AAA) for training machine learning models with outliers. The algorithm iteratively trains the model by using a weighted version of the non-robust loss, while updating the weights at each iteration. The algorithm is augmented with a novel parameter update rule by interpreting the weights as inlier probabilities, and obviates the need for complex parameter tuning. Thirdly, we investigate convergence of the adaptive alternation algorithm to outlier-free optima. Considering arbitrary outliers (i.e., with no distributional assumption on the outliers), we show that the use of robust loss kernels {\sigma} increases the region of convergence. We experimentally show the efficacy of our algorithm on regression, classification, and neural scene reconstruction problems. We release our implementation code: https://github.com/MIT-SPARK/ORT.
• Abstract（参考訳）: 外れ値の存在下での機械学習モデルのロバストトレーニングは、さまざまな領域で注目を集めている。 堅牢な損失の使用は一般的なアプローチであり、外れ値の影響を軽減することが知られている。 ひとつはロボット工学やコンピュータビジョンで人気があるM推定、もうひとつはディープラーニングで人気があるリスク最小化フレームワークを用いています。 まず、ブラック・ランガラジャン双対性に対する単純な修正が統一的な見方をもたらすことを示す。 修正された双対性は、どちらの文献においてもロバストなロスによって満たされるロバストなロスカーネル $\sigma$ の定義をもたらす。 第2に、修正された双対性を用いて、外れ値を持つ機械学習モデルをトレーニングするための適応交代アルゴリズム(AAA)を提案する。 アルゴリズムは、反復ごとに重みを更新しながら、非破壊損失の重み付きバージョンを使用してモデルを反復的に訓練する。 このアルゴリズムは、重みを不整合確率として解釈することで、新しいパラメータ更新ルールで拡張され、複雑なパラメータチューニングの必要性が回避される。 第3に、アダプティブ・リフレクション・アルゴリズムのオプティマへの収束について検討する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核 {\sigma} の使用が収束領域を増加させていることが示される。 本稿では,回帰,分類,ニューラルシーン再構成問題に対するアルゴリズムの有効性を実験的に示す。 実装コード https://github.com/MIT-SPARK/ORT をリリースします。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• The Persian Rug: solving toy models of superposition using large-scale symmetries [0.0]
  入力次元が大きければ最小限の非線形スパースデータオートエンコーダによって学習されたアルゴリズムの完全なメカニスティック記述を示す。 我々の研究は、オートエンコーダの構造を理解する技術を導入することによって、ニューラルネットワークの解釈可能性に貢献している。
  論文  参考訳（メタデータ） (2024-10-15T22:52:45Z)
• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Outlier-Robust Neural Network Training: Efficient Optimization of Transformed Trimmed Loss with Variation Regularization [2.5628953713168685]
  本稿では,高表現性ニューラルネットワークを用いた外乱予測モデルについて考察する。 本稿では,(1)古典的トリム化損失の計算可能な変種である変換トリム化損失(TTL)と,(2)予測モデルの高次変分正規化(HOVR)を用いる。
  論文  参考訳（メタデータ） (2023-08-04T12:57:13Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Outlier-Robust Estimation: Hardness, Minimally Tuned Algorithms, and Applications [25.222024234900445]
  本稿では,外乱推定,一般化最大収束(G-MC),一般化最小正方形(G-TLS)の2つの統一式を提案する。 最悪の場合、(概して)外れ値の集合を見つけることは不可能である。 そこで我々は, 降圧器から降圧器を分離する方法を動的に決定する, 降圧器のリジェクションのための最小調整アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:06:13Z)
• TAdam: A Robust Stochastic Gradient Optimizer [6.973803123972298]
  機械学習アルゴリズムは、特にロボット分野において、いくつかのノイズを含むかもしれない観察からパターンを見つけることを目的としている。 このようなノイズにうまく対処するためには、外乱を検知し、必要に応じて破棄できると期待している。 そこで本研究では,アルゴリズムに頑健性を直接組み込んだ勾配最適化手法を提案し,その中核となる概念として頑健な学生分布を用いた。
  論文  参考訳（メタデータ） (2020-02-29T04:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。