論文の概要: Optimizing Black-box Metrics with Iterative Example Weighting

• arxiv url: http://arxiv.org/abs/2102.09492v1
• Date: Thu, 18 Feb 2021 17:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 14:29:52.231579
• Title: Optimizing Black-box Metrics with Iterative Example Weighting
• Title（参考訳）: 繰り返し加重によるブラックボックスメトリックの最適化
• Authors: Gaurush Hiranandani, Jatin Mathur, Oluwasanmi Koyejo, Mahdi Milani Fard, Harikrishna Narasimhan
• Abstract要約: 混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。 提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。
• 参考スコア（独自算出の注目度）: 32.682652530189266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider learning to optimize a classification metric defined by a black-box function of the confusion matrix. Such black-box learning settings are ubiquitous, for example, when the learner only has query access to the metric of interest, or in noisy-label and domain adaptation applications where the learner must evaluate the metric via performance evaluation using a small validation sample. Our approach is to adaptively learn example weights on the training dataset such that the resulting weighted objective best approximates the metric on the validation sample. We show how to model and estimate the example weights and use them to iteratively post-shift a pre-trained class probability estimator to construct a classifier. We also analyze the resulting procedure's statistical properties. Experiments on various label noise, domain shift, and fair classification setups confirm that our proposal is better than the individual state-of-the-art baselines for each application.
• Abstract（参考訳）: 混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。 このようなブラックボックス学習設定は、例えば、学習者が興味のあるメトリックへのクエリアクセスしか持たない場合や、学習者が小さなバリデーションサンプルを使用してパフォーマンス評価によってメトリックを評価する必要があるノイズラベルおよびドメイン適応アプリケーションにおいて、ユビキタスである。 提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。 実例の重みをモデル化して推定し、事前学習したクラス確率推定器を反復的にポストシフトして分類器を構築する方法を示す。 また,得られたプロシージャの統計特性も解析する。 様々なラベルノイズ、ドメインシフト、公正な分類設定に関する実験により、各アプリケーションに対する個々の最先端のベースラインよりも優れた提案が得られた。

関連論文リスト

• Classification Tree-based Active Learning: A Wrapper Approach [4.706932040794696]
  本稿では,木構造にサンプリングプロセスを整理し,分類のためのラッパー能動的学習法を提案する。 ラベル付き標本の初期集合上に構築された分類木は、空間を低エントロピー領域に分解すると考えられる。 この適応は、既存のアクティブラーニング手法よりも大幅に向上することが証明されている。
  論文  参考訳（メタデータ） (2024-04-15T17:27:00Z)
• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• 'One size doesn't fit all': Learning how many Examples to use for In-Context Learning for Improved Text Classification [18.167541508658417]
  In-context Learning (ICL) は、少数のラベル付きデータインスタンスをプロンプトの例として使用する。 本稿では,データに代表されるサンプル数を動的に適応させる手法を提案する。 実験の結果,AICL法はいくつかの標準データセットにおけるテキスト分類タスクの改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-11T03:28:13Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
  その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。 この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
  論文  参考訳（メタデータ） (2022-08-19T03:57:17Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
  誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。 MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。 我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
  論文  参考訳（メタデータ） (2021-04-21T16:50:01Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。