論文の概要: Characterizing Structural Regularities of Labeled Data in Overparameterized Models

• arxiv url: http://arxiv.org/abs/2002.03206v3
• Date: Tue, 15 Jun 2021 17:22:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 22:30:38.313679
• Title: Characterizing Structural Regularities of Labeled Data in Overparameterized Models
• Title（参考訳）: 過パラメータ化モデルにおけるラベル付きデータの構造規則性の特徴付け
• Authors: Ziheng Jiang, Chiyuan Zhang, Kunal Talwar, Michael C. Mozer
• Abstract要約: ディープニューラルネットワークは、共通のパターンや構造を共有するインスタンスをまたいで一般化することができる。 一貫性スコアを用いて、個々のインスタンスがモデルによってどのように扱われるかを分析する。 本稿では,ディープラーニングシステムの解析への潜在的な応用例を示す。
• 参考スコア（独自算出の注目度）: 45.956614301397885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans are accustomed to environments that contain both regularities and exceptions. For example, at most gas stations, one pays prior to pumping, but the occasional rural station does not accept payment in advance. Likewise, deep neural networks can generalize across instances that share common patterns or structures, yet have the capacity to memorize rare or irregular forms. We analyze how individual instances are treated by a model via a consistency score. The score characterizes the expected accuracy for a held-out instance given training sets of varying size sampled from the data distribution. We obtain empirical estimates of this score for individual instances in multiple data sets, and we show that the score identifies out-of-distribution and mislabeled examples at one end of the continuum and strongly regular examples at the other end. We identify computationally inexpensive proxies to the consistency score using statistics collected during training. We show examples of potential applications to the analysis of deep-learning systems.
• Abstract（参考訳）: 人間は規則性と例外の両方を含む環境に慣れている。 例えば、ほとんどのガソリンスタンドでは、パンピングの前に支払いをするが、田園部では事前に支払いを受け付けないこともある。 同様に、ディープニューラルネットワークは、共通のパターンや構造を共有するインスタンスをまたいで一般化するが、まれまたは不規則なフォームを記憶する能力を持つ。 個々のインスタンスが一貫性スコアを通じてモデルによってどのように扱われるかを分析する。 スコアは、データ分布からサンプリングされた様々なサイズのトレーニングセットが与えられたホールドアウトインスタンスの期待精度を特徴付ける。 我々は,複数のデータセットにおける個々のインスタンスについて,このスコアについて経験的推定値を得るとともに,連続体の一方の端における分布外例と誤記された例と,もう一方端において強い正規例を識別することを示す。 トレーニング中に収集した統計データを用いて, 整合性スコアに対する計算コストの低いプロキシを同定する。 本稿では,ディープラーニングシステムの解析への応用例を示す。

関連論文リスト

• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• Data Valuation Without Training of a Model [8.89493507314525]
  本稿では、ニューラルネットワークの一般化における個々のインスタンスの影響を定量化するために、複雑性ギャップスコアと呼ばれるトレーニング不要なデータ評価スコアを提案する。 提案したスコアは、インスタンスの不規則性を定量化し、トレーニング中に各データインスタンスがネットワークパラメータの総移動にどの程度貢献するかを測定する。
  論文  参考訳（メタデータ） (2023-01-03T02:19:20Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• Approximate sampling and estimation of partition functions using neural networks [0.0]
  本研究では, 可変オートエンコーダ (VAE) をいかに応用できるかを示す。 論理を逆転させ、正規化まで特定された複雑で難解な潜在分布を仮定して、VAEを単純かつトラクタブルな分布に適合するように訓練する。 この手順は、トレーニングデータやマルコフ連鎖モンテカルロサンプリングを使わずに近似を構成する。
  論文  参考訳（メタデータ） (2022-09-21T15:16:45Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。