論文の概要: On Medians of (Randomized) Pairwise Means

• arxiv url: http://arxiv.org/abs/2211.00603v1
• Date: Tue, 1 Nov 2022 17:18:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 13:25:54.811609
• Title: On Medians of (Randomized) Pairwise Means
• Title（参考訳）: ペアワイズ平均(ランダム化)の中央値について
• Authors: Pierre Laforgue, Stephan Cl\'emen\c{c}on, Patrice Bertail
• Abstract要約: Lugosi & Mendelsonで最近導入されたトーナメント手順は、機械学習における経験的リスク最小化の原則に代わる魅力的な代替手段を提供する。 本稿では,このアプローチを拡張して,他の学習問題に対処する。
• 参考スコア（独自算出の注目度）: 8.497456090408084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tournament procedures, recently introduced in Lugosi & Mendelson (2016), offer an appealing alternative, from a theoretical perspective at least, to the principle of Empirical Risk Minimization in machine learning. Statistical learning by Median-of-Means (MoM) basically consists in segmenting the training data into blocks of equal size and comparing the statistical performance of every pair of candidate decision rules on each data block: that with highest performance on the majority of the blocks is declared as the winner. In the context of nonparametric regression, functions having won all their duels have been shown to outperform empirical risk minimizers w.r.t. the mean squared error under minimal assumptions, while exhibiting robustness properties. It is the purpose of this paper to extend this approach in order to address other learning problems, in particular for which the performance criterion takes the form of an expectation over pairs of observations rather than over one single observation, as may be the case in pairwise ranking, clustering or metric learning. Precisely, it is proved here that the bounds achieved by MoM are essentially conserved when the blocks are built by means of independent sampling without replacement schemes instead of a simple segmentation. These results are next extended to situations where the risk is related to a pairwise loss function and its empirical counterpart is of the form of a $U$-statistic. Beyond theoretical results guaranteeing the performance of the learning/estimation methods proposed, some numerical experiments provide empirical evidence of their relevance in practice.
• Abstract（参考訳）: Lugosi & Mendelson (2016)で最近導入されたトーナメント手順は、少なくとも理論的観点からは、機械学習における経験的リスク最小化の原則まで、魅力的な代替手段を提供する。 Median-of-Means (MoM)による統計的学習は、基本的に、トレーニングデータを同じ大きさのブロックに分割し、各データブロック上の候補決定ルールのペアごとの統計性能を比較することである。 非パラメトリック回帰(nonparametric regression)の文脈では、すべてのデュエルを勝ち取った関数は、最小限の仮定の下で平均二乗誤差を上回り、ロバスト性特性を示すことが示されている。 本稿では,このアプローチを拡張し,他の学習問題に対処し,特に,一対のランキングやクラスタリング,メートル法学習の場合のように,一対の観察よりもむしろ一対の観察に対する期待の形をとることを目的としている。 正確には、momが達成した境界は、単純なセグメンテーションではなく、置換スキームなしで独立したサンプリングによって構築されたブロックによって本質的に保存される。 これらの結果は、リスクがペアの損失関数と関連し、その経験的損失関数が$U$-statisticの形式である状況にまで拡張される。 提案する学習/推定手法の性能を保証する理論的結果以外にも、いくつかの数値実験は、実際にその妥当性の実証的な証拠を提供する。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Joint empirical risk minimization for instance-dependent positive-unlabeled data [4.112909937203119]
  正とラベルなしのデータ(PU学習)からの学習は、機械学習のタスクとして積極的に研究されている。 目標は、ラベル付きインスタンスとラベルなしインスタンスの一部を含むデータセットに基づいて、バイナリ分類モデルをトレーニングすることだ。 ラベルなし集合は、残りの部分の正と全ての負の観察を含む。
  論文  参考訳（メタデータ） (2023-12-27T12:45:12Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Mixture Proportion Estimation and PU Learning: A Modern Approach [47.34499672878859]
  正の例とラベルなしの例のみを考えると、正逆負の正の正の分類器を正確に見積もることを望むかもしれない。 両方の問題の古典的な方法は、高次元の設定で分解される。 BBE(Best Bin Estimation)とCVIR(Value Ignoring Risk)の2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-11-01T14:42:23Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Generalization Bounds in the Presence of Outliers: a Median-of-Means Study [8.905677748354364]
  Median-of-Means (MoM) は平方可積分 r.v.$Z$ の平均$theta$ の推定量である。 ヘビーテールのデータに対する高い信頼性のおかげで、MoMは機械学習に様々な応用を見出した。 新たな作業ラインは、MoMが破損したデータに対処する能力を特徴付け、活用しようとしている。
  論文  参考訳（メタデータ） (2020-06-09T13:21:39Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。