論文の概要: Why Deep Learning's Performance Data Are Misleading

• arxiv url: http://arxiv.org/abs/2208.11228v1
• Date: Tue, 23 Aug 2022 23:24:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 12:11:40.546288
• Title: Why Deep Learning's Performance Data Are Misleading
• Title（参考訳）: ディープラーニングのパフォーマンスデータが誤解を招く理由
• Authors: Juyang Weng
• Abstract要約: 本稿では、ディープラーニングにおけるデータ削除と、ディープラーニングにおけるトレーニングセットのテストと、それらが不正行為である理由について説明する。 多くのディープラーニングプロジェクトで不正行為が実際に起こったという証拠は、この記事の範囲を超えている。
• 参考スコア（独自算出の注目度）: 1.941730292017383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is a theoretical paper, as a companion paper of the keynote talk at the same conference. In contrast to conscious learning, many projects in AI have employed deep learning many of which seem to give impressive performance data. This paper explains that such performance data are probably misleadingly inflated due to two possible misconducts: data deletion and test on training set. This paper clarifies what is data deletion in deep learning and what is test on training set in deep learning and why they are misconducts. A simple classification method is defined, called nearest neighbor with threshold (NNWT). A theorem is established that the NNWT method reaches a zero error on any validation set and any test set using Post-Selections, as long as the test set is in the possession of the author and both the amount of storage space and the time of training are finite but unbounded like with many deep learning methods. However, like many deep learning methods, the NNWT method has little generalization power. The evidence that misconducts actually took place in many deep learning projects is beyond the scope of this paper. Without a transparent account about freedom from Post-Selections, deep learning data are misleading.
• Abstract（参考訳）: これは理論的な論文であり、同じカンファレンスでの基調講演の共催論文である。 意識的な学習とは対照的に、AIの多くのプロジェクトはディープラーニングを採用している。 本稿では,データ削除とトレーニングセットでのテストという2つの不正行為が考えられるため,パフォーマンスデータはおそらく誤解を招くほど膨らんでいることを述べる。 本稿では、深層学習におけるデータ削除と、深層学習におけるトレーニングセットのテストと、それらが不行である理由を明らかにする。 単純な分類法が定義され、nearly neighbor with threshold (nnwt) と呼ばれる。 NNWT法は、テストセットが著者の所有であり、記憶空間の量とトレーニング時間の両方が有限であるが、多くのディープラーニング手法と同様に無拘束である限り、任意の検証セットとポストセレクションを用いたテストセットでゼロ誤差に達するという定理が確立される。 しかし、多くのディープラーニング手法と同様に、NNWT法は一般化能力がほとんどない。 実際、多くのディープラーニングプロジェクトで不正行為が行われたという証拠は、この論文の範囲を超えている。 選択後の自由に関する透過的な説明がなければ、ディープラーニングデータは誤解を招く。

関連論文リスト

• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Re-Examine Distantly Supervised NER: A New Benchmark and a Simple Approach [14.801411392475439]
  実生活DS-NERデータセットであるQTLを導入し、ドメイン辞書を用いてトレーニングデータをアノテートし、テストデータをドメインの専門家がアノテートする。 既存のDS-NERアプローチはQTLに適用されると失敗し、既存のDS-NERアプローチを再検討する動機となる。 そこで我々は,カリキュラム学習を用いて学習サンプルを簡単から難易度まで注文する,トークンレベルの正正解学習(CuPUL)を提案する。
  論文  参考訳（メタデータ） (2024-02-22T20:07:02Z)
• Misconduct in Post-Selections and Deep Learning [5.384630221560809]
  ほとんどすべての機械学習メソッドは、不正行為と隠蔽という、同じ不正行為に根ざしています。 ここでの新しい分析から、隠された犯人がポストセレクションであることが分かる。
  論文  参考訳（メタデータ） (2024-02-13T17:11:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learnability and Algorithm for Continual Learning [7.7046692574332285]
  クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class Incremental Learning、CIL)は、クラスや概念の相容れない集合からなる一連のタスクを学習する。 本稿では,CILが学習可能であることを示す。この理論に基づき,新しいCILアルゴリズムも提案する。
  論文  参考訳（メタデータ） (2023-06-22T03:08:42Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• On "Deep Learning" Misconduct [1.941730292017383]
  深層学習」プロジェクトは「データ削除」と「トレーニングデータのテスト」という、明らかに同じ不正行為に悩まされている。 本稿では,Pure-Guess Nearest Neighbor (PGNN) と呼ばれる単純な手法が,ゼロエラー条件を含む検証セットとテストセット上で必要なエラーに達するという定理を確立する。
  論文  参考訳（メタデータ） (2022-11-23T17:04:42Z)
• When Less is More: On the Value of "Co-training" for Semi-Supervised Software Defect Predictors [15.862838836160634]
  本論文は714以上のプロジェクトに対して,55の半教師付き学習者に適用する。 半教師付き「協調学習法」は他の手法よりもかなりうまく機能することがわかった。
  論文  参考訳（メタデータ） (2022-11-10T23:39:12Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks [75.46678178805382]
  emphdata中毒攻撃では、攻撃者は学習した機械学習モデルを破損させるためにいくつかのトレーニング例を変更し、削除し、または挿入する。 データ中毒攻撃に対するバッグングの本質的確固たる堅牢性を証明する。 本手法は, 任意の修正, 削除, 挿入を行う場合, MNIST 上で 911.1% の精度を達成している。
  論文  参考訳（メタデータ） (2020-08-11T03:12:42Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。