論文の概要: On Orderings of Probability Vectors and Unsupervised Performance
Estimation
- arxiv url: http://arxiv.org/abs/2306.10160v1
- Date: Fri, 16 Jun 2023 20:03:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 00:07:06.006747
- Title: On Orderings of Probability Vectors and Unsupervised Performance
Estimation
- Title(参考訳): 確率ベクトルの順序と教師なし性能推定について
- Authors: Muhammad Maaz, Rui Qiao, Yiheng Zhou, Renxian Zhang
- Abstract要約: Linfty$ノルムは分類問題に最も適したスコア関数であることを示す。
我々は、よく知られたNLPデータセットの実験を行い、異なるスコア関数の性能を精査する。
- 参考スコア(独自算出の注目度): 6.2163687973613495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised performance estimation, or evaluating how well models perform on
unlabeled data is a difficult task. Recently, a method was proposed by Garg et
al. [2022] which performs much better than previous methods. Their method
relies on having a score function, satisfying certain properties, to map
probability vectors outputted by the classifier to the reals, but it is an open
problem which score function is best. We explore this problem by first showing
that their method fundamentally relies on the ordering induced by this score
function. Thus, under monotone transformations of score functions, their method
yields the same estimate. Next, we show that in the binary classification
setting, nearly all common score functions - the $L^\infty$ norm; the $L^2$
norm; negative entropy; and the $L^2$, $L^1$, and Jensen-Shannon distances to
the uniform vector - all induce the same ordering over probability vectors.
However, this does not hold for higher dimensional settings. We conduct
numerous experiments on well-known NLP data sets and rigorously explore the
performance of different score functions. We conclude that the $L^\infty$ norm
is the most appropriate.
- Abstract(参考訳): 教師なしのパフォーマンス推定やラベルなしデータでのモデルのパフォーマンス評価は難しい作業です。
最近,gargらによって手法が提案されている。
[2022] 従来の方法よりずっとうまく機能します。
彼らの方法は、分類器が出力した確率ベクトルを実数にマッピングするために、ある特性を満たすスコア関数を持つことに依存しているが、スコア関数が最良であるオープン問題である。
まず,これらの手法が,このスコア関数によって誘導される順序に依存することを示す。
したがって、スコア関数の単調変換の下では、それらの方法は同じ推定値が得られる。
次に、二項分類設定において、ほぼすべての共通スコア関数、例えば$L^\infty$ノルム、$L^2$ノルム、負エントロピー、および$L^2$、$L^1$およびJensen-Shannon距離は、すべて確率ベクトル上で同じ順序を導くことを示す。
しかし、これは高次元の設定には当てはまらない。
我々は、よく知られたNLPデータセットに関する多数の実験を行い、異なるスコア関数の性能を精査する。
我々は、$l^\infty$ノルムが最も適切であると結論する。
関連論文リスト
- Statistical Inference of Constrained Stochastic Optimization via
Sketched Sequential Quadratic Programming [59.36379287247961]
この問題を解決するために,完全オンライン逐次2次プログラミング(StoSQP)手法を開発した。
最近の数値二階法の設計により、StoSQPは任意のランダムなステップサイズを適応的に選択できる。
また,2次法の計算コストを大幅に削減するため,StoSQPはランダム化反復解法を用いて2次プログラムを不正確に解けるようにした。
論文 参考訳(メタデータ) (2022-05-27T00:34:03Z) - Faster Algorithms and Constant Lower Bounds for the Worst-Case Expected
Error [0.3997680012976965]
目標は、最悪の予測エラーを最小限に抑える推定器を設計することである。
Chen, Valiant および Valiant は、データ値が $ell_infty$-normalized の場合、平均の推定値を計算する時間アルゴリズムが存在することを示した。
本稿では,オンライン凸最適化に基づく最適半線形推定器の近似アルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-12-27T18:47:25Z) - Distributionally Robust Optimization with Markovian Data [8.126833795693699]
本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。
本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
論文 参考訳(メタデータ) (2021-06-12T10:59:02Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Higher-Order Orthogonal Causal Learning for Treatment Effect [15.652550362252205]
本稿では,スコア関数から回収したデバイアス推定値を得るアルゴリズムを提案する。
また、シミュレーションデータセットと実データセットの両方を用いてスコア関数から構築した推定器のパワーをテストするための総合実験も実施する。
論文 参考訳(メタデータ) (2021-03-22T14:04:13Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳(メタデータ) (2020-12-22T12:59:30Z) - A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。
勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-06T05:01:38Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳(メタデータ) (2020-07-05T18:58:47Z) - Debiasing Distributed Second Order Optimization with Surrogate Sketching
and Scaled Regularization [101.5159744660701]
分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。
本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-02T18:08:14Z) - Efficient estimation of the ANOVA mean dimension, with an application to
neural net classification [0.0]
ブラックボックス関数の$d$変数の平均次元は、$d$ Sobol'のインデックスの和として記述される。
筆者らは, ウインド・階段と呼ばれるギブス・サンプルラー, ベースラインから各変数を一度に変化させるラジアル・サンプルラー, 関数評価を再利用しないナイーブ・サンプルラーを比較した。
論文 参考訳(メタデータ) (2020-07-02T17:44:10Z) - Ranking a set of objects: a graph based least-square approach [70.7866286425868]
同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。
品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
論文 参考訳(メタデータ) (2020-02-26T16:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。