論文の概要: Verifiable evaluations of machine learning models using zkSNARKs

• arxiv url: http://arxiv.org/abs/2402.02675v1
• Date: Mon, 5 Feb 2024 02:21:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 18:12:38.759073
• Title: Verifiable evaluations of machine learning models using zkSNARKs
• Title（参考訳）: zkSNARKを用いた機械学習モデルの検証評価
• Authors: Tobin South, Alexander Camuto, Shrey Jain, Shayla Nguyen, Robert Mahari, Christian Paquin, Jason Morton, Alex 'Sandy' Pentland
• Abstract要約: 本研究は,zkSNARKによるモデル推論を用いたモデル評価の検証手法を提案する。 結果として得られたデータセット上のモデル出力のゼロ知識計算証明は、検証可能な評価証明にパッケージ化することができる。 実世界のモデルのサンプルでこれを初めてデモし、重要な課題と設計ソリューションを強調します。
• 参考スコア（独自算出の注目度）: 41.744623213275496
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In a world of increasing closed-source commercial machine learning models, model evaluations from developers must be taken at face value. These benchmark results, whether over task accuracy, bias evaluations, or safety checks, are traditionally impossible to verify by a model end-user without the costly or impossible process of re-performing the benchmark on black-box model outputs. This work presents a method of verifiable model evaluation using model inference through zkSNARKs. The resulting zero-knowledge computational proofs of model outputs over datasets can be packaged into verifiable evaluation attestations showing that models with fixed private weights achieve stated performance or fairness metrics over public inputs. These verifiable attestations can be performed on any standard neural network model with varying compute requirements. For the first time, we demonstrate this across a sample of real-world models and highlight key challenges and design solutions. This presents a new transparency paradigm in the verifiable evaluation of private models.
• Abstract（参考訳）: クローズドソースの商用機械学習モデルの増加の世界では、開発者によるモデル評価を顔の値で行う必要があります。 これらのベンチマーク結果(タスク精度、バイアス評価、安全チェック)は、ブラックボックスモデル出力でベンチマークを再実行するコストや不可能なプロセスなしで、モデルエンドユーザーによる検証は従来不可能である。 本研究は,zkSNARKによるモデル推論を用いたモデルの検証手法を提案する。 結果として得られた、データセット上のモデル出力のゼロ知識計算証明を検証可能な評価アテレーションにパッケージ化することで、固定されたプライベートウェイトを持つモデルが、指定されたパフォーマンスまたは公開入力に対する公平性メトリクスを達成することを示すことができる。 これらの検証可能な検証は、計算要件の異なる任意の標準ニューラルネットワークモデル上で実行できる。 実世界のモデルのサンプルを通じてこれを初めて実証し、重要な課題と設計ソリューションを強調する。 これは、プライベートモデルの検証可能な評価において、新しい透明性パラダイムを示す。

関連論文リスト

• OMNIINPUT: A Model-centric Evaluation Framework through Output Distribution [31.00645110294068]
  我々は,AI/MLモデルの予測品質を,可能なすべての入力に対して評価するモデル中心評価フレームワークOmniInputを提案する。 提案手法では, 学習モデルの入力と出力分布を求めるために, 効率的なサンプリング器を用いる。 実験により,OmniInputはモデル間のよりきめ細かい比較を可能にした。
  論文  参考訳（メタデータ） (2023-12-06T04:53:12Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• fairml: A Statistician's Take on Fair Machine Learning Modelling [0.0]
  本稿では,これまでの研究(Scutari, Panero, Proissl 2022)および関連モデルを文献で実装したfairmlパッケージについて述べる。 Fairmlは古典的な統計モデルと ペナル化された回帰結果に基づいて設計されています フェアネスを強制するために使われる制約は、推定をモデル化することであり、望まれるモデルファミリと各アプリケーションに対するフェアネス定義の混合とマッチングを可能にする。
  論文  参考訳（メタデータ） (2023-05-03T09:59:53Z)
• GMValuator: Similarity-based Data Valuation for Generative Models [41.76259565672285]
  生成モデル評価器(GMValuator, Generative Model Valuator, GMValuator, GMValuator)を導入した。 GMValuatorは、その有効性を示すために、様々なデータセットや生成アーキテクチャで広く評価されている。
  論文  参考訳（メタデータ） (2023-04-21T02:02:02Z)
• Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
  オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。 入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。 私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
  論文  参考訳（メタデータ） (2023-03-28T21:02:35Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Fairness in the Eyes of the Data: Certifying Machine-Learning Models [38.09830406613629]
  本稿では,対話型およびプライバシ保護テストに基づいて,モデルの公正度を認定するフレームワークを提案する。 テストデータはテスタにのみプライベートに提供されるか、あるいはモデル作成者にも事前に公開されている2つのシナリオに対処します。 我々は、参加者の機密データを隠蔽しながら、モデルへのブラックボックスアクセスのみを使用して、公正性テストと認定推論を自動化する暗号技術を提供する。
  論文  参考訳（メタデータ） (2020-09-03T09:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。