論文の概要: Classification Performance Metric Elicitation and its Applications

• arxiv url: http://arxiv.org/abs/2208.09142v1
• Date: Fri, 19 Aug 2022 03:57:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 16:37:17.455011
• Title: Classification Performance Metric Elicitation and its Applications
• Title（参考訳）: 分類性能指標の抽出とその応用
• Authors: Gaurush Hiranandani
• Abstract要約: その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。 この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
• 参考スコア（独自算出の注目度）: 5.5637552942511155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a learning problem with real-world tradeoffs, which cost function should the model be trained to optimize? This is the metric selection problem in machine learning. Despite its practical interest, there is limited formal guidance on how to select metrics for machine learning applications. This thesis outlines metric elicitation as a principled framework for selecting the performance metric that best reflects implicit user preferences. Once specified, the evaluation metric can be used to compare and train models. In this manuscript, we formalize the problem of Metric Elicitation and devise novel strategies for eliciting classification performance metrics using pairwise preference feedback over classifiers. Specifically, we provide novel strategies for eliciting linear and linear-fractional metrics for binary and multiclass classification problems, which are then extended to a framework that elicits group-fair performance metrics in the presence of multiple sensitive groups. All the elicitation strategies that we discuss are robust to both finite sample and feedback noise, thus are useful in practice for real-world applications. Using the tools and the geometric characterizations of the feasible confusion statistics sets from the binary, multiclass, and multiclass-multigroup classification setups, we further provide strategies to elicit from a wider range of complex, modern multiclass metrics defined by quadratic functions of confusion statistics by exploiting their local linear structure. From application perspective, we also propose to use the metric elicitation framework in optimizing complex black box metrics that is amenable to deep network training. Lastly, to bring theory closer to practice, we conduct a preliminary real-user study that shows the efficacy of the metric elicitation framework in recovering the users' preferred performance metric in a binary classification setup.
• Abstract（参考訳）: 実世界のトレードオフによる学習問題を考えると、モデルを最適化するためにどのコスト関数を訓練すべきか? これは機械学習におけるメトリック選択問題です。 その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。 この論文は、暗黙のユーザの好みを最もよく反映するパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリックのエリシテーションを概説する。 一度指定すれば、評価基準はモデルの比較と訓練に使用できる。 本稿では,メトリック・リサイクリングの問題を形式化し,分類器よりもペア優先フィードバックを用いて分類性能指標を抽出するための新しい戦略を考案する。 具体的には,二進分類問題や多クラス分類問題に対して,線形および線形フラクショナルメトリクスを導出する新たな手法を提案し,複数のセンシティブなグループが存在する場合に,グループフレアパフォーマンスメトリクスを導出するフレームワークに拡張する。 我々が議論する全ての推定戦略は有限サンプルノイズとフィードバックノイズの両方に頑健であり、現実のアプリケーションでは実用上有用である。 さらに, 2次, 多クラス, 多クラス・多群の分類設定から得られる有理混乱統計セットのツールと幾何学的特徴を用いて, それらの局所線形構造を利用して, 解析統計の二次関数によって定義される, より広い範囲の複合的, 近代的多クラスメトリクスを抽出する戦略を提供する。 アプリケーションの観点からは,ネットワークの深層トレーニングに有効な複雑なブラックボックスメトリクスを最適化するために,メトリック・エリケーション・フレームワークを利用することも提案する。 最後に、理論を実践に近づけるために、二分分類設定において、ユーザが好むパフォーマンスメトリックを回復する上で、メトリックエリシテーションフレームワークの有効性を示す予備的な実ユーザー調査を行う。

関連論文リスト

• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• MISS: Multiclass Interpretable Scoring Systems [13.902264070785986]
  MISS(Multiclass Interpretable Scoring Systems)構築のための機械学習手法を提案する。 MISSは、シングルクラス、スパース、ユーザフレンドリーなスコアリングシステムのための、完全なデータ駆動の方法論である。 結果から,本手法は他の機械学習モデルと性能指標の分類において競合し,高い校正率のクラス確率が得られたことが示唆された。
  論文  参考訳（メタデータ） (2024-01-10T10:57:12Z)
• Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems [33.46891569350896]
  カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序やトップクオーダを学習させることに重点を置いていた。 我々はこの手法をアダプティブ・ニューラルランキング・フレームワーク (Adaptive Neural Ranking Framework, ARF) と命名する。
  論文  参考訳（メタデータ） (2023-10-16T14:43:02Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Optimizing Black-box Metrics with Iterative Example Weighting [32.682652530189266]
  混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。 提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。
  論文  参考訳（メタデータ） (2021-02-18T17:19:09Z)
• Quadratic Metric Elicitation for Fairness and Beyond [28.1407078984806]
  本稿では,速度の2次関数によって定義される,よりフレキシブルなマルチクラスメトリクスを抽出するための戦略を開発する。 本稿では,2次違反に基づくグループフェアメトリクスの抽出への応用について述べる。
  論文  参考訳（メタデータ） (2020-11-03T07:22:15Z)
• On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
  平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。 我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。 我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
  論文  参考訳（メタデータ） (2020-10-24T04:30:02Z)
• Bridging the Gap: Unifying the Training and Evaluation of Neural Network Binary Classifiers [0.4893345190925178]
  本論文では,Heaviside関数の微分可能な近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の訓練手法を提案する。 我々の理論解析は,ソフトセットを用いた$F_$-Scoreなどの評価基準を最適化する手法の利点を示している。
  論文  参考訳（メタデータ） (2020-09-02T22:13:26Z)
• A Multilayer Framework for Online Metric Learning [71.31889711244739]
  本稿では,インスタンス間の非線形類似性を捉えるために,オンラインメトリック学習のための多層フレームワークを提案する。 マハラノビスをベースとした新しいオンラインメトリックラーニング(MOML)アルゴリズムは、受動攻撃戦略とワンパス三重項構築戦略に基づいて提案される。 提案したMLOMLは、いくつかの優れた特性を享受し、実際にメトリクスを漸進的に学習し、ベンチマークデータセットでより良いパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2018-05-15T01:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。