論文の概要: Probabilistic Dataset Reconstruction from Interpretable Models

• arxiv url: http://arxiv.org/abs/2308.15099v1
• Date: Tue, 29 Aug 2023 08:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:07:10.826752
• Title: Probabilistic Dataset Reconstruction from Interpretable Models
• Title（参考訳）: 解釈可能なモデルからの確率的データセット再構成
• Authors: Julien Ferry (LAAS-ROC), Ulrich A\"ivodji (ETS), S\'ebastien Gambs (UQAM), Marie-Jos\'e Huguet (LAAS-ROC), Mohamed Siala (LAAS-ROC)
• Abstract要約: 最適な解釈可能なモデルの方がコンパクトで、トレーニングデータに関する情報が、厳密に構築されたモデルよりも少ないことが示される。 この結果から,最適解釈可能なモデルの方がコンパクトで,学習データに関する情報が少ないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability is often pointed out as a key requirement for trustworthy machine learning. However, learning and releasing models that are inherently interpretable leaks information regarding the underlying training data. As such disclosure may directly conflict with privacy, a precise quantification of the privacy impact of such breach is a fundamental problem. For instance, previous work have shown that the structure of a decision tree can be leveraged to build a probabilistic reconstruction of its training dataset, with the uncertainty of the reconstruction being a relevant metric for the information leak. In this paper, we propose of a novel framework generalizing these probabilistic reconstructions in the sense that it can handle other forms of interpretable models and more generic types of knowledge. In addition, we demonstrate that under realistic assumptions regarding the interpretable models' structure, the uncertainty of the reconstruction can be computed efficiently. Finally, we illustrate the applicability of our approach on both decision trees and rule lists, by comparing the theoretical information leak associated to either exact or heuristic learning algorithms. Our results suggest that optimal interpretable models are often more compact and leak less information regarding their training data than greedily-built ones, for a given accuracy level.
• Abstract（参考訳）: 解釈可能性はしばしば、信頼できる機械学習の重要な要件として指摘される。 しかし、本質的に解釈可能なモデルの学習とリリースは、基礎となるトレーニングデータに関する情報を漏洩させる。 このような開示は直接プライバシーと矛盾する可能性があるため、そのような侵害によるプライバシーへの影響の正確な定量化は根本的な問題である。 例えば、以前の研究では、決定木の構造を利用してトレーニングデータセットの確率論的再構成を構築することが示されており、再構成の不確実性は情報漏洩の関連指標である。 本稿では,他の解釈可能なモデルやより汎用的な知識を扱えるという意味で,これらの確率的再構成を一般化する新しい枠組みを提案する。 また,解釈可能なモデルの構造に関する現実的な仮定の下では,復元の不確かさを効率的に計算できることを示す。 最後に,厳密あるいはヒューリスティックな学習アルゴリズムに関連する理論的情報漏洩を比較することにより,決定木と規則リストの両方に対するアプローチの適用性を示す。 以上の結果から, 最適解釈モデルはよりコンパクトであり, 訓練データに関する情報は, 特定の精度レベルにおいて, 厳格に構築されたモデルよりも漏えいが少ないことが示唆された。

関連論文リスト

• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Supervised Feature Compression based on Counterfactual Analysis [3.2458225810390284]
  本研究は,事前学習したブラックボックスモデルの重要な決定境界を検出するために,非現実的説明を活用することを目的としている。 離散化されたデータセットを使用して、ブラックボックスモデルに似た最適な決定木をトレーニングすることができるが、解釈可能でコンパクトである。
  論文  参考訳（メタデータ） (2022-11-17T21:16:14Z)
• Bounding Information Leakage in Machine Learning [26.64770573405079]
  本稿では,情報漏洩の基本的な境界について検討する。 最悪の会員推論攻撃の成功率を特定し、拘束します。 感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
  論文  参考訳（メタデータ） (2021-05-09T08:49:14Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information [39.87273353895564]
  本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。 我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。 文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。