論文の概要: QuantifyML: How Good is my Machine Learning Model?

• arxiv url: http://arxiv.org/abs/2110.12588v1
• Date: Mon, 25 Oct 2021 01:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 06:44:32.225938
• Title: QuantifyML: How Good is my Machine Learning Model?
• Title（参考訳）: QuantifyML: 私の機械学習モデルはどのくらい優れているか?
• Authors: Muhammad Usman (University of Texas at Austin, USA), Divya Gopinath (KBR Inc., CMU, Nasa Ames), Corina S. P\u{a}s\u{a}reanu (KBR Inc., CMU, Nasa Ames)
• Abstract要約: QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。 この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The efficacy of machine learning models is typically determined by computing their accuracy on test data sets. However, this may often be misleading, since the test data may not be representative of the problem that is being studied. With QuantifyML we aim to precisely quantify the extent to which machine learning models have learned and generalized from the given data. Given a trained model, QuantifyML translates it into a C program and feeds it to the CBMC model checker to produce a formula in Conjunctive Normal Form (CNF). The formula is analyzed with off-the-shelf model counters to obtain precise counts with respect to different model behavior. QuantifyML enables i) evaluating learnability by comparing the counts for the outputs to ground truth, expressed as logical predicates, ii) comparing the performance of models built with different machine learning algorithms (decision-trees vs. neural networks), and iii) quantifying the safety and robustness of models.
• Abstract（参考訳）: 機械学習モデルの有効性は通常、テストデータセットの精度を計算することによって決定される。 しかし、テストデータが研究中の問題の代表ではない可能性があるため、これは誤解を招くことが多い。 QuantifyMLでは、与えられたデータから機械学習モデルが学習し、一般化した範囲を正確に定量化する。 訓練されたモデルが与えられた場合、QuantifyMLはそれをCプログラムに変換し、CBMCモデルチェッカーに供給し、接続正規形(CNF)で公式を生成する。 この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。 QuantifyML の実現 一 論理述語として表されるアウトプットのカウントと根拠真理を比較して学習可能性を評価すること。 二 異なる機械学習アルゴリズム(決定木対ニューラルネットワーク)を用いて構築されたモデルの性能の比較及び 三 モデルの安全性及び堅牢性の定量化

関連論文リスト

• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• ModelDiff: A Framework for Comparing Learning Algorithms [86.19580801269036]
  そこでは,2つの異なる学習アルゴリズムを用いて学習したモデルの違いを見つけることを目的とする。 トレーニングデータの使用方法に基づいて学習アルゴリズムを比較するために,データモデルフレームワークを利用するModelDiffを提案する。
  論文  参考訳（メタデータ） (2022-11-22T18:56:52Z)
• Generalization Analysis on Learning with a Concurrent Verifier [16.298786827265673]
  機械学習モデルの学習性はCVでどのように変化するかを分析する。 Rademacherの複雑性に基づく典型的なエラー境界は、元のモデルよりも大きくはならない。
  論文  参考訳（メタデータ） (2022-10-11T10:51:55Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Multifamily Malware Models [5.414308305392762]
  我々は、トレーニングデータセットの一般性と対応する機械学習モデルの精度との関係を定量化するために、バイト$n$-gramの機能に基づいた実験を行う。 近隣のアルゴリズムは驚くほどよく一般化され、他の機械学習手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2022-06-27T13:06:31Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• Classifier Data Quality: A Geometric Complexity Based Method for Automated Baseline And Insights Generation [4.722075132982135]
  主な課題は、モデルの精度や分類器のF1スコアなどの誤りのレベルが受け入れられるかどうかを決定することである。 我々は、与えられた観測が真のクラスラベルに割り当てるのがいかに困難であるかを定量化する複雑性測定法を開発した。 これらの尺度は、線形計算コストに対して、各観測の分類複雑性を説明可能な形で定量化するという点において、ベストプラクティスのベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-12-22T12:17:08Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。