論文の概要: On Orderings of Probability Vectors and Unsupervised Performance Estimation

• arxiv url: http://arxiv.org/abs/2306.10160v1
• Date: Fri, 16 Jun 2023 20:03:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 00:07:06.006747
• Title: On Orderings of Probability Vectors and Unsupervised Performance Estimation
• Title（参考訳）: 確率ベクトルの順序と教師なし性能推定について
• Authors: Muhammad Maaz, Rui Qiao, Yiheng Zhou, Renxian Zhang
• Abstract要約: Linfty$ノルムは分類問題に最も適したスコア関数であることを示す。 我々は、よく知られたNLPデータセットの実験を行い、異なるスコア関数の性能を精査する。
• 参考スコア（独自算出の注目度）: 6.2163687973613495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised performance estimation, or evaluating how well models perform on unlabeled data is a difficult task. Recently, a method was proposed by Garg et al. [2022] which performs much better than previous methods. Their method relies on having a score function, satisfying certain properties, to map probability vectors outputted by the classifier to the reals, but it is an open problem which score function is best. We explore this problem by first showing that their method fundamentally relies on the ordering induced by this score function. Thus, under monotone transformations of score functions, their method yields the same estimate. Next, we show that in the binary classification setting, nearly all common score functions - the $L^\infty$ norm; the $L^2$ norm; negative entropy; and the $L^2$, $L^1$, and Jensen-Shannon distances to the uniform vector - all induce the same ordering over probability vectors. However, this does not hold for higher dimensional settings. We conduct numerous experiments on well-known NLP data sets and rigorously explore the performance of different score functions. We conclude that the $L^\infty$ norm is the most appropriate.
• Abstract（参考訳）: 教師なしのパフォーマンス推定やラベルなしデータでのモデルのパフォーマンス評価は難しい作業です。 最近,gargらによって手法が提案されている。 [2022] 従来の方法よりずっとうまく機能します。 彼らの方法は、分類器が出力した確率ベクトルを実数にマッピングするために、ある特性を満たすスコア関数を持つことに依存しているが、スコア関数が最良であるオープン問題である。 まず,これらの手法が,このスコア関数によって誘導される順序に依存することを示す。 したがって、スコア関数の単調変換の下では、それらの方法は同じ推定値が得られる。 次に、二項分類設定において、ほぼすべての共通スコア関数、例えば$L^\infty$ノルム、$L^2$ノルム、負エントロピー、および$L^2$、$L^1$およびJensen-Shannon距離は、すべて確率ベクトル上で同じ順序を導くことを示す。 しかし、これは高次元の設定には当てはまらない。 我々は、よく知られたNLPデータセットに関する多数の実験を行い、異なるスコア関数の性能を精査する。 我々は、$l^\infty$ノルムが最も適切であると結論する。

関連論文リスト

• S-CFE: Simple Counterfactual Explanations [21.975560789792073]
  スパースデータに対する多様体対応の反実的説明を求める問題に対処する。 提案手法は,スパースかつ多様体に整列した反実的説明を効果的に生成する。
  論文  参考訳（メタデータ） (2024-10-21T07:42:43Z)
• Faster Algorithms and Constant Lower Bounds for the Worst-Case Expected Error [0.3997680012976965]
  目標は、最悪の予測エラーを最小限に抑える推定器を設計することである。 Chen, Valiant および Valiant は、データ値が $ell_infty$-normalized の場合、平均の推定値を計算する時間アルゴリズムが存在することを示した。 本稿では,オンライン凸最適化に基づく最適半線形推定器の近似アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-12-27T18:47:25Z)
• Distributionally Robust Optimization with Markovian Data [8.126833795693699]
  本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。 本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
  論文  参考訳（メタデータ） (2021-06-12T10:59:02Z)
• Higher-Order Orthogonal Causal Learning for Treatment Effect [15.652550362252205]
  本稿では,スコア関数から回収したデバイアス推定値を得るアルゴリズムを提案する。 また、シミュレーションデータセットと実データセットの両方を用いてスコア関数から構築した推定器のパワーをテストするための総合実験も実施する。
  論文  参考訳（メタデータ） (2021-03-22T14:04:13Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Hutch++: Optimal Stochastic Trace Estimation [75.45968495410048]
  我々は、任意の正半定値(PSD)$A$に対して、$(1 pm epsilon)$を$tr(A)$に近似する新しいランダム化アルゴリズムであるHutch++を導入する。 実験ではハッチンソン法を著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2020-10-19T16:45:37Z)
• A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
  正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。 勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-06T05:01:38Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• Debiasing Distributed Second Order Optimization with Surrogate Sketching and Scaled Regularization [101.5159744660701]
  分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。 本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-02T18:08:14Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。