論文の概要: An Efficient Plugin Method for Metric Optimization of Black-Box Models

• arxiv url: http://arxiv.org/abs/2503.02119v1
• Date: Mon, 03 Mar 2025 23:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:28.021627
• Title: An Efficient Plugin Method for Metric Optimization of Black-Box Models
• Title（参考訳）: ブラックボックスモデルのメトリック最適化のための効率的なプラグイン法
• Authors: Siddartha Devic, Nurendra Choudhary, Anirudh Srinivasan, Sahika Genc, Branislav Kveton, Gaurush Hiranandani,
• Abstract要約: 下流のユーザは、特定のターゲットディストリビューションでモデルを変更、再トレーニング、微調整することができない。 我々は,任意のブラックボックス分類器から任意のマルチクラス予測を処理する,シンプルで効率的な手法を提案する。
• 参考スコア（独自算出の注目度）: 17.938312986290335
• License:
• Abstract: Many machine learning algorithms and classifiers are available only via API queries as a ``black-box'' -- that is, the downstream user has no ability to change, re-train, or fine-tune the model on a particular target distribution. Indeed, the downstream user may not even have knowledge of the \emph{original} training distribution or performance metric used to construct and optimize the black-box model. We propose a simple and efficient method, Plugin, which \emph{post-processes} arbitrary multiclass predictions from any black-box classifier in order to simultaneously (1) adapt these predictions to a target distribution; and (2) optimize a particular metric of the confusion matrix. Importantly, Plugin is a completely \textit{post-hoc} method which does not rely on feature information, only requires a small amount of probabilistic predictions along with their corresponding true label, and optimizes metrics by querying. We empirically demonstrate that Plugin is both broadly applicable and has performance competitive with related methods on a variety of tabular and language tasks.
• Abstract（参考訳）: 多くの機械学習アルゴリズムと分類器は、APIクエリを通じて‘black-box’’としてのみ利用できる。つまり、下流のユーザは、特定のターゲットディストリビューション上でモデルを変更、再トレーニング、微調整することができない。 実際、ダウンストリームのユーザは、ブラックボックスモデルの構築と最適化に使用される‘emph{ Origin}’トレーニングの配布やパフォーマンスメトリクスに関する知識さえ持っていないかもしれません。 ブラックボックス分類器から任意のマルチクラス予測を任意に生成し,(1)これらの予測を目標分布に適応させる,(2)混乱行列の特定の計量を最適化する,シンプルで効率的なPluginを提案する。 重要なことは、Pluginは機能情報に依存しない完全に \textit{post-hoc} メソッドであり、対応する真のラベルとともに少数の確率的予測しか必要とせず、クエリによってメトリクスを最適化する。 Pluginは広く適用可能であり、様々な表や言語タスクに関連するメソッドと競合する性能を持つことを実証的に実証する。

関連論文リスト

• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Hyperspherical Classification with Dynamic Label-to-Prototype Assignment [5.978350039412277]
  トレーニング中に各プロトタイプに割り当てられたカテゴリを最適化する,シンプルで効果的な手法を提案する。 この最適化は、勾配降下とバイパルチドマッチングの逐次組み合わせを用いて解決する。 CIFAR-100では1.22%の精度で、ImageNet-200では2.15%の精度で競合他社よりも優れています。
  論文  参考訳（メタデータ） (2024-03-25T17:01:34Z)
• Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs [49.547988001231424]
  効率的かつ適応的な予測を実現するために,ワンショットサブグラフリンク予測を提案する。 設計原理は、KG全体に直接作用する代わりに、予測手順を2つのステップに分離する。 5つの大規模ベンチマークにおいて,効率の向上と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-03-15T12:00:12Z)
• Variational Factorization Machines for Preference Elicitation in Large-Scale Recommender Systems [17.050774091903552]
  本稿では, 標準のミニバッチ降下勾配を用いて容易に最適化できる因子化機械 (FM) の変分定式化を提案する。 提案アルゴリズムは,ユーザおよび項目パラメータに近似した後続分布を学習し,予測に対する信頼区間を導出する。 いくつかのデータセットを用いて、予測精度の点で既存の手法と同等または優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T00:06:28Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Lightweight Conditional Model Extrapolation for Streaming Data under Class-Prior Shift [27.806085423595334]
  非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。 我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。 Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-10T15:19:52Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Optimizing Black-box Metrics with Iterative Example Weighting [32.682652530189266]
  混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。 提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。
  論文  参考訳（メタデータ） (2021-02-18T17:19:09Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。