論文の概要: Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space

• arxiv url: http://arxiv.org/abs/2305.19424v1
• Date: Tue, 30 May 2023 21:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:26:50.341040
• Title: Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space
• Title（参考訳）: オーバーフィッティングの定量化:Null空間の解析によるニューラルネットワークの性能評価
• Authors: Hossein Rezaei, Mohammad Sabokrou
• Abstract要約: ニューラルネットワークの最後の層におけるヌル空間を分析し、トレーニングデータへのアクセスやそれらのデータの正確性に関する知識を必要とせずに、オーバーフィッティングを定量化する。 私たちの研究は、トレーニングデータへのアクセスやトレーニングサンプルに関する知識を必要とせずに、オーバーフィッティングを定量化する最初の試みです。
• 参考スコア（独自算出の注目度）: 10.698553177585973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models that are overfitted/overtrained are more vulnerable to knowledge leakage, which poses a risk to privacy. Suppose we download or receive a model from a third-party collaborator without knowing its training accuracy. How can we determine if it has been overfitted or overtrained on its training data? It's possible that the model was intentionally over-trained to make it vulnerable during testing. While an overfitted or overtrained model may perform well on testing data and even some generalization tests, we can't be sure it's not over-fitted. Conducting a comprehensive generalization test is also expensive. The goal of this paper is to address these issues and ensure the privacy and generalization of our method using only testing data. To achieve this, we analyze the null space in the last layer of neural networks, which enables us to quantify overfitting without access to training data or knowledge of the accuracy of those data. We evaluated our approach on various architectures and datasets and observed a distinct pattern in the angle of null space when models are overfitted. Furthermore, we show that models with poor generalization exhibit specific characteristics in this space. Our work represents the first attempt to quantify overfitting without access to training data or knowing any knowledge about the training samples.
• Abstract（参考訳）: 過度に適合/過度にトレーニングされた機械学習モデルは、プライバシにリスクをもたらす知識漏洩に対してより脆弱である。 トレーニングの正確さを知らずに、サードパーティの協力者からモデルをダウンロードまたは受け取ります。 トレーニングデータに過度に適合したか、あるいは過度にトレーニングされたか、どうやって判断できるのか? モデルが意図的に過度にトレーニングされ、テスト中に脆弱になる可能性がある。 オーバーフィットあるいはオーバートレーニングされたモデルは、テストデータやいくつかの一般化テストでもうまく機能するかも知れませんが、オーバーフィットしないかどうかは定かではありません。 包括的な一般化テストの実行もコストがかかる。 本研究の目的は,これらの問題に対処し,テストデータのみを用いた手法のプライバシと一般化を保証することである。 これを実現するために、ニューラルネットワークの最後の層におけるヌル空間を分析し、トレーニングデータやそれらのデータの正確性を知ることなく、オーバーフィッティングの定量化を可能にする。 我々は,様々なアーキテクチャやデータセットに対するアプローチを評価し,モデルが過度に適合する場合に,ヌル空間の角度で異なるパターンを観察した。 さらに, 一般化が不十分なモデルは, この空間に特有の特徴を示すことを示す。 私たちの研究は、トレーニングデータへのアクセスやトレーニングサンプルに関する知識を知らずに、オーバーフィッティングを定量化する最初の試みです。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Contrastive Deep Encoding Enables Uncertainty-aware Machine-learning-assisted Histopathology [6.548275341067594]
  テラバイトのトレーニングデータを意識的に深層ネットワークにプリトレーニングして情報表現を符号化することができる。 提案手法は,ランダムに選択されたアノテーションが1～10%しかないパッチレベルの分類において,最先端のSOTA(State-of-the-art)に到達可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T17:37:19Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Trade-offs between membership privacy & adversarially robust learning [13.37805637358556]
  標準モデルがロバストモデルよりもはるかに過度に適合する設定を特定します。 オーバーフィッティングの度合いは、トレーニングに利用可能なデータの量に依存する。
  論文  参考訳（メタデータ） (2020-06-08T14:20:12Z)
• Predicting trends in the quality of state-of-the-art neural networks without access to training or testing data [46.63168507757103]
  公開されている何百もの事前学習モデルの詳細なメタ分析を提供する。 パワーローベースのメトリクスは -- 訓練された一連のモデル間での識別が、定量的に優れていることが分かりました。
  論文  参考訳（メタデータ） (2020-02-17T00:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。