論文の概要: Deconstructing Distributions: A Pointwise Framework of Learning
- arxiv url: http://arxiv.org/abs/2202.09931v1
- Date: Sun, 20 Feb 2022 23:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-22 15:16:09.343157
- Title: Deconstructing Distributions: A Pointwise Framework of Learning
- Title（参考訳）: 分散を分解する: 学習のポイントワイドフレームワーク
- Authors: Gal Kaplun, Nikhil Ghosh, Saurabh Garg, Boaz Barak, Preetum Nakkiran
- Abstract要約: テスト分布におけるモデルの平均性能と、この個々の点におけるポイントワイズ性能の関係について調べる。
プロファイルは、モデルとデータの構造 -- 分布の内外 -- に新しい洞察を与えることができる。
- 参考スコア（独自算出の注目度）: 15.517383696434162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In machine learning, we traditionally evaluate the performance of a single
model, averaged over a collection of test inputs. In this work, we propose a
new approach: we measure the performance of a collection of models when
evaluated on a $\textit{single input point}$. Specifically, we study a point's
$\textit{profile}$: the relationship between models' average performance on the
test distribution and their pointwise performance on this individual point. We
find that profiles can yield new insights into the structure of both models and
data -- in and out-of-distribution. For example, we empirically show that real
data distributions consist of points with qualitatively different profiles. On
one hand, there are "compatible" points with strong correlation between the
pointwise and average performance. On the other hand, there are points with
weak and even $\textit{negative}$ correlation: cases where improving overall
model accuracy actually $\textit{hurts}$ performance on these inputs. We prove
that these experimental observations are inconsistent with the predictions of
several simplified models of learning proposed in prior work. As an
application, we use profiles to construct a dataset we call CIFAR-10-NEG: a
subset of CINIC-10 such that for standard models, accuracy on CIFAR-10-NEG is
$\textit{negatively correlated}$ with accuracy on CIFAR-10 test. This
illustrates, for the first time, an OOD dataset that completely inverts
"accuracy-on-the-line" (Miller, Taori, Raghunathan, Sagawa, Koh, Shankar,
Liang, Carmon, and Schmidt 2021)
- Abstract（参考訳）: 機械学習では、従来、テスト入力の集合を平均して、1つのモデルのパフォーマンスを評価する。
本稿では,新しいアプローチを提案する: $\textit{single input point}$で評価された場合,モデルの集合のパフォーマンスを測定する。
具体的には、ある点の$\textit{known}$: テスト分布におけるモデルの平均性能と、この点におけるポイントワイズパフォーマンスの関係について検討する。
プロファイルは、モデルとデータの両方の構造に関する新たな洞察を得ることができます。
例えば、実データ分布は質的に異なるプロファイルを持つ点からなることを実証的に示す。
一方、ポイントワイドと平均性能の間には強い相関関係を持つ「互換」点が存在する。
一方、弱い点や$\textit{negative}$相関点もある: モデル全体の精度を改善する場合、これらの入力で$\textit{hurts}$のパフォーマンスが実際に向上する。
これらの実験的な観察は、先行研究で提案されたいくつかの簡易学習モデルの予測と矛盾していることを示す。
CIFAR-10-NEGの標準モデルでは、CIFAR-10-NEGの精度は、CIFAR-10テストの精度で$\textit{ negatively correlation}$である。
これは初めて、"精度・オン・ザ・ライン"を完全に逆転するOODデータセット(Miller, Taori, Raghunathan, Sgawa, Koh, Shankar, Liang, Carmon, Schmidt 2021)を示している。
関連論文リスト
- An Interpretable Evaluation of Entropy-based Novelty of Generative Models [36.29214321258605]
生成モデルのモードベースノベルティを定量化するために,カーネルベースのエントロピーノベルティ(KEN)スコアを提案する。
合成および実画像データセットの数値計算結果から,新しいモードの検出におけるフレームワークの有効性を示す。
論文 参考訳（メタデータ） (2024-02-27T08:00:52Z) - Score Mismatching for Generative Modeling [4.413162309652114]
そこで我々は,一段階サンプリングを用いた新しいスコアベースモデルを提案する。
我々は、スコアネットワークから逆転した勾配で全ての時間ステップを圧縮するようにスタンドアロンのジェネレータを訓練する。
生成器に有意義な勾配を与えるため、スコアネットワークは実データ分布を同時にマッチングし、偽データ分布を誤マッチするように訓練される。
論文 参考訳（メタデータ） (2023-09-20T03:47:12Z) - Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。
Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。
平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文 参考訳（メタデータ） (2023-09-14T17:45:51Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - K-means Clustering Based Feature Consistency Alignment for Label-free
Model Evaluation [12.295565506212844]
本稿では,CVPR 2023における第1回DataCV Challenge of the Visual Understandingデータセットワークショップのソリューションについて述べる。
まず,K-means Clustering Based Feature Consistency Alignment (KCFCA) という手法を提案する。
第2に,分布の変化とモデル精度の関係を捉える動的回帰モデルを開発する。
第三に、外乱モデル因子を発見し、外乱モデルを排除するアルゴリズムを設計し、複数のオートエスバルモデルの強みを組み合わせる。
論文 参考訳（メタデータ） (2023-04-17T06:33:30Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳（メタデータ） (2021-12-17T18:59:41Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。