論文の概要: DeepMoM: Robust Deep Learning With Median-of-Means

• arxiv url: http://arxiv.org/abs/2105.14035v1
• Date: Fri, 28 May 2021 18:07:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:31:48.114679
• Title: DeepMoM: Robust Deep Learning With Median-of-Means
• Title（参考訳）: DeepMoM:Median-of-Meansによるロバストなディープラーニング
• Authors: Shih-Ting Huang and Johannes Lederer
• Abstract要約: 我々は,中道値とル・カムの原理に関する最近の知見に動機づけられたアプローチを導入する。 このアプローチが容易に実装できることを示し、実際に非常にうまく機能していることを示します。
• 参考スコア（独自算出の注目度）: 0.3553493344868413
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Data used in deep learning is notoriously problematic. For example, data are usually combined from diverse sources, rarely cleaned and vetted thoroughly, and sometimes corrupted on purpose. Intentional corruption that targets the weak spots of algorithms has been studied extensively under the label of "adversarial attacks." In contrast, the arguably much more common case of corruption that reflects the limited quality of data has been studied much less. Such "random" corruptions are due to measurement errors, unreliable sources, convenience sampling, and so forth. These kinds of corruption are common in deep learning, because data are rarely collected according to strict protocols -- in strong contrast to the formalized data collection in some parts of classical statistics. This paper concerns such corruption. We introduce an approach motivated by very recent insights into median-of-means and Le Cam's principle, we show that the approach can be readily implemented, and we demonstrate that it performs very well in practice. In conclusion, we believe that our approach is a very promising alternative to standard parameter training based on least-squares and cross-entropy loss.
• Abstract（参考訳）: ディープラーニングで使用されるデータは、悪名高い問題である。 例えば、データは、通常、さまざまなソースから結合され、ほとんどきれいにされ、徹底的に処理され、時には故意に腐敗する。 アルゴリズムの弱点を狙った意図的腐敗は「敵対的攻撃」というラベルで広く研究されている。 対照的に、データの限られた品質を反映した汚職のケースは、はるかに少ない研究がなされている。 このような"ランダム"な腐敗は、測定エラー、信頼性の低いソース、コンビニエンスサンプリングなどによるものだ。 なぜなら、データは厳密なプロトコルに従って収集されることは滅多になく、古典的な統計のいくつかの部分における形式化されたデータ収集とは対照的である。 この論文はそのような腐敗を懸念する。 我々は,中道値とル・カムの原理に関する最近の知見に動機づけられたアプローチを導入し,そのアプローチが容易に実装可能であることを示すとともに,実際に非常によく動作することを示す。 結論として,本手法は,最小二乗とクロスエントロピー損失に基づく標準パラメータトレーニングに代わる,非常に有望な手法であると考える。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions [48.34142457385199]
  MUFIAは、モデルが失敗する可能性のある特定の種類の汚職を特定するために設計されたアルゴリズムである。 最先端のモデルでさえ、既知の一般的な汚職に対して堅牢であるように訓練されたモデルでさえ、MUFIAによって作られた低視認性ベースの汚職と戦っている。
  論文  参考訳（メタデータ） (2023-06-12T15:19:13Z)
• Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
  我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。 本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。 提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-12T17:45:03Z)
• Robust estimation algorithms don't need to know the corruption level [50.31562134370949]
  データの一部が破損しても、ロバストな推定アルゴリズムはうまく機能する。 彼らの大多数のアプローチは、破損したデータの断片に厳密な上限を与える場合にのみ、最適な精度にアプローチする。 この短いメモは、複雑で広範にわたるロバスト性問題を単純な幾何学的パズルに抽象化する。 パズルの解法を適用し、普遍的なメタテクニックを導出する。
  論文  参考訳（メタデータ） (2022-02-11T05:18:28Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Using the Overlapping Score to Improve Corruption Benchmarks [6.445605125467574]
  本稿では、汚職ベンチマークの欠陥を明らかにするために、汚職重複スコアと呼ばれる指標を提案する。 汚職間の重複を考慮に入れれば、既存のベンチマークを改善したり、より良いベンチマークを構築するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-26T06:42:54Z)
• Towards Error Measures which Influence a Learners Inductive Bias to the Ground Truth [0.0]
  本論文では,スパースデータを用いたシナリオにおける「基底真理」をモデル化する回帰的手法の能力にエラー対策がどう影響するかを検討する。 現在の誤差尺度は役に立たないバイアスを生じさせ、この振る舞いを示さない新しい誤差尺度が導出される。
  論文  参考訳（メタデータ） (2021-05-04T15:33:58Z)
• Are Bias Mitigation Techniques for Deep Learning Effective? [24.84797949716142]
  改良された評価プロトコル、有能なメトリクス、新しいデータセットを導入する。 我々は、同じネットワークアーキテクチャを用いて、7つの最先端アルゴリズムを評価する。 アルゴリズムは隠れバイアスを悪用し、複数の形式のバイアスにスケールできず、チューニングセットの選択に非常に敏感であることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T00:14:45Z)
• On Provable Backdoor Defense in Collaborative Learning [35.22450536986004]
  悪意のあるユーザは、モデルの収束を防ぐためにデータをアップロードしたり、隠れたバックドアを注入したりできる。 標準的なテストデータではモデルが正常に動作するため、バックドア攻撃は特に検出が難しいが、特定のバックドアキーによってトリガーされた場合、間違ったアウトプットが与えられる。 既存のサブセット集約メソッドを一般化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-19T14:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。