論文の概要: Why Deep Learning's Performance Data Are Misleading

• arxiv url: http://arxiv.org/abs/2208.11228v3
• Date: Mon, 1 May 2023 20:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 18:05:27.505425
• Title: Why Deep Learning's Performance Data Are Misleading
• Title（参考訳）: ディープラーニングのパフォーマンスデータが誤解を招く理由
• Authors: Juyang Weng
• Abstract要約: 本稿では「データ削除」と「トレーニングセットのテスト」という2つの不正行為により、パフォーマンスデータが著しく膨らませられていることを説明します。 NNWT(Nearest Neighbor With Threshold)と呼ばれる単純な分類法が定義される
• 参考スコア（独自算出の注目度）: 1.941730292017383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is a theoretical paper, as a companion paper of the keynote talk at the same conference AIEE 2023. In contrast to conscious learning, many projects in AI have employed so-called "deep learning" many of which seemed to give impressive performance. This paper explains that such performance data are deceptively inflated due to two misconducts: "data deletion" and "test on training set". This paper clarifies "data deletion" and "test on training set" in deep learning and why they are misconducts. A simple classification method is defined, called Nearest Neighbor With Threshold (NNWT). A theorem is established that the NNWT method reaches a zero error on any validation set and any test set using the two misconducts, as long as the test set is in the possession of the author and both the amount of storage space and the time of training are finite but unbounded like with many deep learning methods. However, many deep learning methods, like the NNWT method, are all not generalizable since they have never been tested by a true test set. Why? The so-called "test set" was used in the Post-Selection step of the training stage. The evidence that misconducts actually took place in many deep learning projects is beyond the scope of this paper.
• Abstract（参考訳）: これは理論的な論文であり、同じaiee 2023カンファレンスでの基調講演の共催論文である。 意識的な学習とは対照的に、AIの多くのプロジェクトはいわゆる"深層学習(deep learning)"を採用しており、その多くが素晴らしいパフォーマンスを与えている。 本稿では,2つの不正行為(「データ削除」と「トレーニングセット上でのテスト」)により,これらのパフォーマンスデータが欺くほど膨らんでいることを述べる。 本稿では,深層学習における「データ削除」と「トレーニングセットのテスト」と,それらが不正行為である理由を明らかにする。 単純な分類法が定義され、Nearest Neighbor With Threshold (NNWT)と呼ばれる。 NNWT法は、テストセットが著者の所有であり、記憶空間の量とトレーニング時間の両方が有限であるが、多くの深層学習法と同様に非有界である限り、検証セットと2つの不正行為を用いたテストセットでゼロ誤差に達するという定理が確立される。 しかし、NNWT法のような多くのディープラーニング手法は、真のテストセットでテストされたことがないので、すべて一般化できない。 なぜだ? いわゆる「テストセット」は、トレーニングステージのポストセレクションステップで使用された。 実際、多くのディープラーニングプロジェクトで不正行為が行われたという証拠は、この論文の範囲を超えている。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Misconduct in Post-Selections and Deep Learning [5.384630221560809]
  ほとんどすべての機械学習メソッドは、不正行為と隠蔽という、同じ不正行為に根ざしています。 ここでの新しい分析から、隠された犯人がポストセレクションであることが分かる。
  論文  参考訳（メタデータ） (2024-02-13T17:11:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learnability and Algorithm for Continual Learning [7.7046692574332285]
  クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class Incremental Learning、CIL)は、クラスや概念の相容れない集合からなる一連のタスクを学習する。 本稿では,CILが学習可能であることを示す。この理論に基づき,新しいCILアルゴリズムも提案する。
  論文  参考訳（メタデータ） (2023-06-22T03:08:42Z)
• Unsupervised Embedding Quality Evaluation [6.72542623686684]
  SSLモデルは、他のドメインに転送された時に正常に動作するかどうか、しばしば不明である。 安定した方法でデータを線形に分離することがいかに容易か、定量化できますか? 本稿では,自己教師付き学習における高次元幾何学構造理解の最近の進歩に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T01:06:44Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• On "Deep Learning" Misconduct [1.941730292017383]
  深層学習」プロジェクトは「データ削除」と「トレーニングデータのテスト」という、明らかに同じ不正行為に悩まされている。 本稿では,Pure-Guess Nearest Neighbor (PGNN) と呼ばれる単純な手法が,ゼロエラー条件を含む検証セットとテストセット上で必要なエラーに達するという定理を確立する。
  論文  参考訳（メタデータ） (2022-11-23T17:04:42Z)
• When Less is More: On the Value of "Co-training" for Semi-Supervised Software Defect Predictors [15.862838836160634]
  本論文は714以上のプロジェクトに対して,55の半教師付き学習者に適用する。 半教師付き「協調学習法」は他の手法よりもかなりうまく機能することがわかった。
  論文  参考訳（メタデータ） (2022-11-10T23:39:12Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks [75.46678178805382]
  emphdata中毒攻撃では、攻撃者は学習した機械学習モデルを破損させるためにいくつかのトレーニング例を変更し、削除し、または挿入する。 データ中毒攻撃に対するバッグングの本質的確固たる堅牢性を証明する。 本手法は, 任意の修正, 削除, 挿入を行う場合, MNIST 上で 911.1% の精度を達成している。
  論文  参考訳（メタデータ） (2020-08-11T03:12:42Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。