論文の概要: Misconduct in Post-Selections and Deep Learning

• arxiv url: http://arxiv.org/abs/2403.00773v1
• Date: Tue, 13 Feb 2024 17:11:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 00:21:51.174343
• Title: Misconduct in Post-Selections and Deep Learning
• Title（参考訳）: ポストセレクションとディープラーニングの過ち
• Authors: Juyang Weng
• Abstract要約: ほとんどすべての機械学習メソッドは、不正行為と隠蔽という、同じ不正行為に根ざしています。 ここでの新しい分析から、隠された犯人がポストセレクションであることが分かる。
• 参考スコア（独自算出の注目度）: 5.384630221560809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is a theoretical paper on "Deep Learning" misconduct in particular and Post-Selection in general. As far as the author knows, the first peer-reviewed papers on Deep Learning misconduct are [32], [37], [36]. Regardless of learning modes, e.g., supervised, reinforcement, adversarial, and evolutional, almost all machine learning methods (except for a few methods that train a sole system) are rooted in the same misconduct -- cheating and hiding -- (1) cheating in the absence of a test and (2) hiding bad-looking data. It was reasoned in [32], [37], [36] that authors must report at least the average error of all trained networks, good and bad, on the validation set (called general cross-validation in this paper). Better, report also five percentage positions of ranked errors. From the new analysis here, we can see that the hidden culprit is Post-Selection. This is also true for Post-Selection on hand-tuned or searched hyperparameters, because they are random, depending on random observation data. Does cross-validation on data splits rescue Post-Selections from the Misconducts (1) and (2)? The new result here says: No. Specifically, this paper reveals that using cross-validation for data splits is insufficient to exonerate Post-Selections in machine learning. In general, Post-Selections of statistical learners based on their errors on the validation set are statistically invalid.
• Abstract（参考訳）: 特に「深層学習」の不正行為とポストセレクションに関する理論的論文である。 著者が知る限り、深層学習不正に関する最初の査読論文は [32], [37], [36] である。 学習モード、例えば、教師付き、強化、敵対的、進化的を問わず、ほとんどすべての機械学習手法(単独のシステムを訓練するいくつかの方法を除く)は、同じ不正行為(不正行為と隠蔽)に根ざしている。 著者らは, 検証セット上で, トレーニングされたネットワーク全体の平均誤差を, 善と悪の少なくとも平均誤差で報告しなければならない, [32], [37], [36] に理由付けを行った(この論文では一般クロスバリデーションと呼ぶ)。 さらに、ランク付けエラーの5パーセントも報告している。 ここでの新しい分析から、隠された犯人がポストセレクションであることが分かる。 これは、ランダムな観測データに依存するため、ハンドチューニングまたは検索されたハイパーパラメータの事後選択にも当てはまる。 データの相互評価は、不正行為からの救助後選択を分けるか(1)と(2)? 新しい結果は以下のとおりだ。 具体的には,データ分割にクロスバリデーションを用いることで,機械学習におけるポストセレクションを排除できないことを示す。 一般に、検証セットの誤りに基づく統計的学習者のポスト選択は統計的に無効である。

関連論文リスト

• A Directional Rockafellar-Uryasev Regression [0.0]
  ほとんどのビッグデータデータセットは、選択バイアスに悩まされている。 信頼できる見積もりの大きな障害のひとつは、トレーニングとテストデータの違いです。 本稿では,研究者が与える2種類のメタデータ情報を考慮した損失関数を提案する。
  論文  参考訳（メタデータ） (2024-11-04T19:42:05Z)
• Consistent Validation for Predictive Methods in Spatial Settings [17.44650272751289]
  空間予測タスクは 天気予報や大気汚染の研究 その他の科学的取り組みの鍵です 検証のための古典的なアプローチでは、バリデーションで利用可能な場所と、予測したい場所(テスト)の間のミスマッチを処理できません。 我々は、検証データが任意に密になるにつれて、検証が任意に正確になる検証方法を定式化する。
  論文  参考訳（メタデータ） (2024-02-05T21:33:22Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)
• Information FOMO: The unhealthy fear of missing out on information. A method for removing misleading data for healthier models [0.0]
  ミスリーディングや不要なデータは、マシンラーニング(ML)モデルの健全性や正確性に大きく影響します。 本稿では,データセット内の重要な情報を特定するシーケンシャルな選択法を提案する。 これらの不安定性は、基礎となるマップの複雑さの結果であり、極端な事象や重い尾と結びついている。
  論文  参考訳（メタデータ） (2022-08-27T19:43:53Z)
• Why Deep Learning's Performance Data Are Misleading [1.941730292017383]
  本稿では「データ削除」と「トレーニングセットのテスト」という2つの不正行為により、パフォーマンスデータが著しく膨らませられていることを説明します。 NNWT(Nearest Neighbor With Threshold)と呼ばれる単純な分類法が定義される
  論文  参考訳（メタデータ） (2022-08-23T23:24:28Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
  本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。 本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。 提案手法は他の最先端手法よりも一貫した改善を実現した。
  論文  参考訳（メタデータ） (2022-03-18T11:02:18Z)
• Rip van Winkle's Razor: A Simple Estimate of Overfit to Test Data [38.28371181797257]
  伝統的な統計では、テストデータ(a.k.a.)の使用を禁じている。 トレーニング中にデータを保持します。 我々は、簡単な新しい見積もり、 Em Rip van Winkle の Razor を提示する。 これはモデルのtextquotedblleft情報contenttextquotedblrightという新しい概念に依存している。
  論文  参考訳（メタデータ） (2021-02-25T21:47:03Z)
• Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks [75.46678178805382]
  emphdata中毒攻撃では、攻撃者は学習した機械学習モデルを破損させるためにいくつかのトレーニング例を変更し、削除し、または挿入する。 データ中毒攻撃に対するバッグングの本質的確固たる堅牢性を証明する。 本手法は, 任意の修正, 削除, 挿入を行う場合, MNIST 上で 911.1% の精度を達成している。
  論文  参考訳（メタデータ） (2020-08-11T03:12:42Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。