論文の概要: MetricOpt: Learning to Optimize Black-Box Evaluation Metrics
- arxiv url: http://arxiv.org/abs/2104.10631v1
- Date: Wed, 21 Apr 2021 16:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 14:32:36.296256
- Title: MetricOpt: Learning to Optimize Black-Box Evaluation Metrics
- Title(参考訳): MetricOpt: ブラックボックス評価メトリクスを最適化する学習
- Authors: Chen Huang, Shuangfei Zhai, Pengsheng Guo and Josh Susskind
- Abstract要約: 誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。
MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。
我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
- 参考スコア(独自算出の注目度): 21.608384691401238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of directly optimizing arbitrary non-differentiable task
evaluation metrics such as misclassification rate and recall. Our method, named
MetricOpt, operates in a black-box setting where the computational details of
the target metric are unknown. We achieve this by learning a differentiable
value function, which maps compact task-specific model parameters to metric
observations. The learned value function is easily pluggable into existing
optimizers like SGD and Adam, and is effective for rapidly finetuning a
pre-trained model. This leads to consistent improvements since the value
function provides effective metric supervision during finetuning, and helps to
correct the potential bias of loss-only supervision. MetricOpt achieves
state-of-the-art performance on a variety of metrics for (image)
classification, image retrieval and object detection. Solid benefits are found
over competing methods, which often involve complex loss design or adaptation.
MetricOpt also generalizes well to new tasks and model architectures.
- Abstract(参考訳): 誤分類率やリコールなどのタスク評価指標を直接最適化する問題について検討する。
対象メトリックの計算の詳細が不明なブラックボックス設定でMetricOptというメソッドを動作させる。
我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
学習された値関数は、SGDやAdamのような既存のオプティマイザに簡単にプラグインでき、事前訓練されたモデルを迅速に微調整するのに有効である。
これは、値関数が微調整中に効果的な計量監督を提供し、損失のみの監督の潜在的なバイアスを修正するのに役立つため、一貫した改善をもたらす。
MetricOptは、画像分類、画像検索、オブジェクト検出のための様々なメトリクスで最先端のパフォーマンスを達成する。
強固な利点は、複雑な損失設計や適応を伴う競合する手法よりも見出される。
MetricOptは、新しいタスクやモデルアーキテクチャにも適しています。
関連論文リスト
- A Study of Unsupervised Evaluation Metrics for Practical and Automatic
Domain Adaptation [15.728090002818963]
教師なしドメイン適応(UDA)メソッドは、ラベルなしでターゲットドメインへのモデル転送を容易にする。
本稿では,対象の検証ラベルにアクセスすることなく,移動モデルの品質を評価できる評価指標を見つけることを目的とする。
論文 参考訳(メタデータ) (2023-08-01T05:01:05Z) - Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。
この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
論文 参考訳(メタデータ) (2022-08-19T03:57:17Z) - Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。
本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。
私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文 参考訳(メタデータ) (2022-02-26T17:32:57Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳(メタデータ) (2022-01-31T13:01:37Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Finding Significant Features for Few-Shot Learning using Dimensionality
Reduction [0.0]
このモジュールは、計量学習法により与えられる類似度関数を、分類のためのより識別的な特徴を持つようにすることで、精度の向上を支援する。
提案手法は,MiniImageNetデータセットにおけるメトリック学習ベースラインの精度を約2%向上させる。
論文 参考訳(メタデータ) (2021-07-06T16:36:57Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T02:27:55Z) - How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。
我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。
この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文 参考訳(メタデータ) (2021-05-05T17:56:00Z) - Optimizing Black-box Metrics with Iterative Example Weighting [32.682652530189266]
混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。
提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。
論文 参考訳(メタデータ) (2021-02-18T17:19:09Z) - ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。
多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。
提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
論文 参考訳(メタデータ) (2020-12-02T00:07:53Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。