論文の概要: Towards good validation metrics for generative models in offline
model-based optimisation
- arxiv url: http://arxiv.org/abs/2211.10747v1
- Date: Sat, 19 Nov 2022 16:57:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 18:26:36.757455
- Title: Towards good validation metrics for generative models in offline
model-based optimisation
- Title(参考訳): オフラインモデルに基づく最適化における生成モデルの良質な検証指標を目指して
- Authors: Christopher Beckham, Alexandre Piche, David Vazquez, Christopher Pal
- Abstract要約: 本稿では,モデルに基づく最適化の原理的評価フレームワークを提案する。
本フレームワークを用いて, 生成的敵ネットワークに対する様々な検証指標を比較した。
- 参考スコア(独自算出の注目度): 66.46128881777571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we propose a principled evaluation framework for model-based
optimisation to measure how well a generative model can extrapolate. We achieve
this by interpreting the training and validation splits as draws from their
respective `truncated' ground truth distributions, where examples in the
validation set contain scores much larger than those in the training set. Model
selection is performed on the validation set for some prescribed validation
metric. A major research question however is in determining what validation
metric correlates best with the expected value of generated candidates with
respect to the ground truth oracle; work towards answering this question can
translate to large economic gains since it is expensive to evaluate the ground
truth oracle in the real world. We compare various validation metrics for
generative adversarial networks using our framework. We also discuss
limitations with our framework with respect to existing datasets and how
progress can be made to mitigate them.
- Abstract(参考訳): 本研究では、生成モデルがいかにうまく外挿できるかを測定するために、モデルに基づく最適化のための原理評価フレームワークを提案する。
検証セットの例がトレーニングセットのそれよりもずっと大きなスコアを含む場合、各'入念'な基底真理分布から、トレーニングと検証の分割を抜粋として解釈することで、これを達成する。
モデル選択は、所定の検証基準の検証セット上で実行される。
しかし、主要な研究課題は、どの検証基準が生成した候補者の期待値と基礎的真理のオラクルに最もよく相関しているかを判断することであり、この疑問に答える作業は、現実の真理のオラクルを評価するのに高価であるため、大きな経済的な利益に変換することができる。
本フレームワークを用いて, 生成的敵ネットワークに対する様々な検証指標を比較した。
また、既存のデータセットに関するフレームワークの制限や、それらを軽減するための進捗状況についても論じます。
関連論文リスト
- QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - A Study of Unsupervised Evaluation Metrics for Practical and Automatic
Domain Adaptation [15.728090002818963]
教師なしドメイン適応(UDA)メソッドは、ラベルなしでターゲットドメインへのモデル転送を容易にする。
本稿では,対象の検証ラベルにアクセスすることなく,移動モデルの品質を評価できる評価指標を見つけることを目的とする。
論文 参考訳(メタデータ) (2023-08-01T05:01:05Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - Multidimensional Item Response Theory in the Style of Collaborative
Filtering [0.8057006406834467]
本稿では,多次元項目応答理論(MIRT)に対する機械学習手法を提案する。
協調フィルタリングに触発されて、多くのMIRTモデルを含むモデルの一般的なクラスを定義します。
本稿では, 個人モデルとクロスバリデーションを推定し, 最適動作モデルを選択するために, ペナル化結合最大度(JML)の使用について論じる。
論文 参考訳(メタデータ) (2023-01-03T00:56:27Z) - Firenze: Model Evaluation Using Weak Signals [5.723905680436377]
本稿では,機械学習モデルの性能比較のための新しいフレームワークFirenzeを紹介する。
興味領域と呼ばれるサンプルの特定のサブセットに対して計算・結合されたマーカーは、実世界のパフォーマンスを頑健に見積もることができることを示す。
論文 参考訳(メタデータ) (2022-07-02T13:20:38Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。