論文の概要: Specifying and Testing $k$-Safety Properties for Machine-Learning Models

• arxiv url: http://arxiv.org/abs/2206.06054v1
• Date: Mon, 13 Jun 2022 11:35:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 17:54:16.151173
• Title: Specifying and Testing $k$-Safety Properties for Machine-Learning Models
• Title（参考訳）: 機械学習モデルの$k$-safetyプロパティの指定とテスト
• Authors: Maria Christakis, Hasan Ferit Eniser, J\"org Hoffmann, Adish Singla, Valentin W\"ustholz
• Abstract要約: フォーマルなメソッドで使われる仕様からインスピレーションを得て、$k$の異なる実行、いわゆる$k$-safetyプロパティを表現します。 ここでは、機械学習モデルに対する$k$-safetyプロパティの幅広い適用性を示し、それらを表現するための最初の仕様言語を示す。 我々のフレームワークは、プロパティ違反を特定するのに有効であり、検出されたバグはより良いモデルのトレーニングに使用できる。
• 参考スコア（独自算出の注目度）: 20.24045879238586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine-learning models are becoming increasingly prevalent in our lives, for instance assisting in image-classification or decision-making tasks. Consequently, the reliability of these models is of critical importance and has resulted in the development of numerous approaches for validating and verifying their robustness and fairness. However, beyond such specific properties, it is challenging to specify, let alone check, general functional-correctness expectations from models. In this paper, we take inspiration from specifications used in formal methods, expressing functional-correctness properties by reasoning about $k$ different executions, so-called $k$-safety properties. Considering a credit-screening model of a bank, the expected property that "if a person is denied a loan and their income decreases, they should still be denied the loan" is a 2-safety property. Here, we show the wide applicability of $k$-safety properties for machine-learning models and present the first specification language for expressing them. We also operationalize the language in a framework for automatically validating such properties using metamorphic testing. Our experiments show that our framework is effective in identifying property violations, and that detected bugs could be used to train better models.
• Abstract（参考訳）: 機械学習モデルは、画像分類や意思決定タスクの支援など、私たちの生活でますます普及している。 その結果、これらのモデルの信頼性は重要であり、その堅牢性と公平性を検証するための多くのアプローチの開発に繋がった。 しかし、そのような特定の特性を超えて、モデルから一般的な機能的修正性期待を特定することは困難である。 本稿では,形式的手法で使われる仕様からインスピレーションを得て,約$k$の異なる実行,いわゆる$k$-safetyプロパティを推論することで,機能的正当性を表現した。 銀行のクレジット・スクリーニングモデルを考えると、「人がローンを否定され、その収入が減少しても、まだローンを否定すべきである」という期待は2つの安全資産である。 ここでは、機械学習モデルに対する$k$-safetyプロパティの幅広い適用性を示し、それらを表現するための最初の仕様言語を示す。 我々はまた、メタモルフィックテストを使用してそのようなプロパティを自動的に検証するフレームワークで言語を運用する。 我々の実験は、我々のフレームワークがプロパティ違反を特定するのに効果的であり、検出されたバグがより良いモデルを訓練するのに使えることを示した。

関連論文リスト

• Prediction without Preclusion: Recourse Verification with Reachable Sets [16.705988489763868]
  本稿では,モデルが決定対象に一定の予測を割り当てているかどうかを検証するために,リコース検証と呼ばれる手法を提案する。 本研究は,消費者金融のデータセットにおけるリコースの有効性に関する包括的実証研究である。
  論文  参考訳（メタデータ） (2023-08-24T14:24:04Z)
• Trusting Language Models in Education [1.2578554943276923]
  本稿では,BERT 上の XGBoost を用いて補正された確率を出力することを提案する。 我々の仮説は、注意の流れに含まれる不確実性のレベルは、モデルの応答自体の品質に関係している、というものである。
  論文  参考訳（メタデータ） (2023-08-07T18:27:54Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
  我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。 最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
  論文  参考訳（メタデータ） (2022-07-15T11:39:37Z)
• Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning [47.651130958272155]
  下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。 我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T11:20:40Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)
• Scaling up Memory-Efficient Formal Verification Tools for Tree Ensembles [2.588973722689844]
  ツール記述として提示されたVoTEアルゴリズムを形式化し拡張する。 コア検証エンジンからプロパティチェックを分離することで、汎用性のある要件の検証が可能となります。 数値認識と航空機衝突回避という2つのケーススタディで、このツールの適用を実証します。
  論文  参考訳（メタデータ） (2021-05-06T11:50:22Z)
• DirectDebug: Automated Testing and Debugging of Feature Models [55.41644538483948]
  変数モデル(例えば、特徴モデル)は、ソフトウェアアーティファクトの変数と共通性を表現する一般的な方法である。 複雑でしばしば大規模な機能モデルは欠陥になりうる、すなわち、ソフトウェアアーチファクトの期待される変動特性を表現しない。
  論文  参考訳（メタデータ） (2021-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。