論文の概要: Evaluating representations by the complexity of learning low-loss predictors

• arxiv url: http://arxiv.org/abs/2009.07368v2
• Date: Fri, 5 Feb 2021 16:50:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 05:22:17.581228
• Title: Evaluating representations by the complexity of learning low-loss predictors
• Title（参考訳）: 低損失予測学習の複雑さによる表現の評価
• Authors: William F. Whitney, Min Jae Song, David Brandfonbrener, Jaan Altosaar, Kyunghyun Cho
• Abstract要約: 下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
• 参考スコア（独自算出の注目度）: 55.94170724668857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of evaluating representations of data for use in solving a downstream task. We propose to measure the quality of a representation by the complexity of learning a predictor on top of the representation that achieves low loss on a task of interest, and introduce two methods, surplus description length (SDL) and $\varepsilon$ sample complexity ($\varepsilon$SC). In contrast to prior methods, which measure the amount of information about the optimal predictor that is present in a specific amount of data, our methods measure the amount of information needed from the data to recover an approximation of the optimal predictor up to a specified tolerance. We present a framework to compare these methods based on plotting the validation loss versus evaluation dataset size (the "loss-data" curve). Existing measures, such as mutual information and minimum description length probes, correspond to slices and integrals along the data axis of the loss-data curve, while ours correspond to slices and integrals along the loss axis. We provide experiments on real data to compare the behavior of each of these methods over datasets of varying size along with a high performance open source library for representation evaluation at https://github.com/willwhitney/reprieve.
• Abstract（参考訳）: 下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,興味のあるタスクにおいて低損失となる表現の上に予測子を学習する複雑さによって表現の質を測定することを提案し,余剰記述長(SDL)とサンプル複雑性(\varepsilon$SC)の2つの方法を提案する。 特定のデータ量に存在する最適な予測器に関する情報量を測定する従来の手法とは対照的に、データから必要な情報量を測定し、指定された許容範囲まで最適な予測器の近似を復元する。 本稿では,検証損失のプロットと評価データセットのサイズ(ロスデータ曲線)を比較するためのフレームワークを提案する。 相互情報や最小記述長プローブといった既存の尺度は損失データ曲線のデータ軸に沿ったスライスと積分に対応し、我々の尺度は損失軸に沿ったスライスと積分に対応する。 我々は,これらの手法の振る舞いを,様々なサイズのデータセット上で比較する実データと,https://github.com/willwhitney/reprieveで表現評価を行う高性能オープンソースライブラリについて実験を行った。

関連論文リスト

• Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
  個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。 スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。 私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
  論文  参考訳（メタデータ） (2024-05-30T20:10:24Z)
• On the Convergence of Loss and Uncertainty-based Active Learning Algorithms [3.506897386829711]
  本研究では、勾配降下法(SGD)アルゴリズムを用いて機械学習モデルの学習に必要な収束率とデータサンプルサイズについて検討する。 線形分類器と線形分離可能なデータセットに対する2乗ヒンジ損失と類似のトレーニング損失関数を用いた収束結果を提案する。
  論文  参考訳（メタデータ） (2023-12-21T15:22:07Z)
• Linear Distance Metric Learning with Noisy Labels [7.326930455001404]
  たとえデータがノイズであっても、基底真理線型計量は任意の精度で学習可能であることを示す。 損失関数やパラメータの精度を確実に維持できる低ランクモデルに学習モデルを切り換える効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T18:29:00Z)
• Variance reduced Shapley value estimation for trustworthy data valuation [16.03510965397185]
  階層化サンプリングを用いたよりロバストなデータ評価手法を提案する。 理論的には、層状化の方法、各層でどれだけのサンプルを採取するか、そしてVRDSの複雑さ分析の例を示す。
  論文  参考訳（メタデータ） (2022-10-30T13:04:52Z)
• Debiasing In-Sample Policy Performance for Small-Data, Large-Scale Optimization [4.554894288663752]
  本稿では,データ駆動最適化におけるポリシのアウト・オブ・サンプル性能の新たな推定法を提案する。 クロスバリデーションとは異なり、我々の手法はテストセットのデータを犠牲にするのを避ける。 我々は,小規模・大規模システムにおける推定器の性能を実証する。
  論文  参考訳（メタデータ） (2021-07-26T19:00:51Z)
• Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
  任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。 提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
  論文  参考訳（メタデータ） (2021-05-23T19:21:55Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。