論文の概要: Closed-Form Expressions for Global and Local Interpretation of Tsetlin
Machines with Applications to Explaining High-Dimensional Data
- arxiv url: http://arxiv.org/abs/2007.13885v1
- Date: Mon, 27 Jul 2020 21:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 07:36:12.486796
- Title: Closed-Form Expressions for Global and Local Interpretation of Tsetlin
Machines with Applications to Explaining High-Dimensional Data
- Title(参考訳): tsetlinマシンの大域的および局所的解釈のためのクローズドフォーム表現と高次元データ説明への応用
- Authors: Christian D. Blakely, Ole-Christoffer Granmo
- Abstract要約: TMモデルが特定の予測を行う理由(局所的解釈可能性)を理解するためのクローズドフォーム表現を提案する。
また、連続した特徴に対する特徴値範囲の重要性を測定するための式も導入する。
分類と回帰については,XGBoost, Explainable Boosting Machines, Neural Additive Modelsと比較し, SHAPとの対応, および競合予測精度を示す。
- 参考スコア(独自算出の注目度): 7.05622249909585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tsetlin Machines (TMs) capture patterns using conjunctive clauses in
propositional logic, thus facilitating interpretation. However, recent TM-based
approaches mainly rely on inspecting the full range of clauses individually.
Such inspection does not necessarily scale to complex prediction problems that
require a large number of clauses. In this paper, we propose closed-form
expressions for understanding why a TM model makes a specific prediction (local
interpretability). Additionally, the expressions capture the most important
features of the model overall (global interpretability). We further introduce
expressions for measuring the importance of feature value ranges for continuous
features. The expressions are formulated directly from the conjunctive clauses
of the TM, making it possible to capture the role of features in real-time,
also during the learning process as the model evolves. Additionally, from the
closed-form expressions, we derive a novel data clustering algorithm for
visualizing high-dimensional data in three dimensions. Finally, we compare our
proposed approach against SHAP and state-of-the-art interpretable machine
learning techniques. For both classification and regression, our evaluation
show correspondence with SHAP as well as competitive prediction accuracy in
comparison with XGBoost, Explainable Boosting Machines, and Neural Additive
Models.
- Abstract(参考訳): Tsetlin Machines (TM) は命題論理の共役節を用いてパターンをキャプチャし、解釈を容易にする。
しかし、最近のTMベースのアプローチは、主に個々の節の完全な範囲を検査することに依存している。
このような検査は、大量の節を必要とする複雑な予測問題に必ずしもスケールしない。
本稿では,TMモデルが特定の予測(局所的解釈可能性)を行う理由を理解するために,クローズドフォーム表現を提案する。
さらに、式はモデル全体の最も重要な特徴(グローバル解釈可能性)を捉えます。
さらに,連続的特徴量に対する特徴値範囲の重要性を測る式についても紹介する。
表現はTMの接続節から直接定式化され、モデルが進化するにつれて、学習過程においても、リアルタイムで機能の役割を捉えることができる。
さらに,閉形式式から,高次元データを3次元で可視化する新しいデータクラスタリングアルゴリズムを導出する。
最後に,提案手法をshapおよび最先端の解釈可能な機械学習手法と比較する。
分類と回帰のいずれにおいても,shapとの対応と,xgboost,説明可能なブースティングマシン,ニューラルアダプティブモデルとの比較による競合予測精度を示す。
関連論文リスト
- TRIGO: Benchmarking Formal Mathematical Proof Reduction for Generative
Language Models [68.65075559137608]
本稿では, ATP ベンチマーク TRIGO を提案する。このベンチマークでは, ステップバイステップの証明で三角法式を縮小するだけでなく, 論理式上で生成する LM の推論能力を評価する。
我々は、Webから三角法式とその縮小フォームを収集し、手作業で単純化プロセスに注釈を付け、それをリーン形式言語システムに翻訳する。
我々はLean-Gymに基づく自動生成装置を開発し、モデルの一般化能力を徹底的に分析するために、様々な困難と分布のデータセット分割を作成する。
論文 参考訳(メタデータ) (2023-10-16T08:42:39Z) - Grouping Shapley Value Feature Importances of Random Forests for
explainable Yield Prediction [0.8543936047647136]
本稿では,特徴群に対して直接計算されたShapley値の概念を説明し,木構造上で効率的に計算するアルゴリズムを提案する。
我々は、グローバルな理解のために多くのローカルな説明を組み合わせてSwarmプロットを設計するための青写真を提供する。
論文 参考訳(メタデータ) (2023-04-14T13:03:33Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-29T04:10:04Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Locally Interpretable Model Agnostic Explanations using Gaussian
Processes [2.9189409618561966]
LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。
局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。
提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
論文 参考訳(メタデータ) (2021-08-16T05:49:01Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳(メタデータ) (2021-07-22T20:52:26Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - MAIRE -- A Model-Agnostic Interpretable Rule Extraction Procedure for
Explaining Classifiers [5.02231401459109]
本稿では,モデルに依存しない人間の解釈可能なルールを抽出し,分類器の出力を説明する新しい枠組みを提案する。
フレームワークはモデル非依存であり、任意の分類器に適用でき、すべての属性(連続、順序、順序なしの離散を含む)を適用できる。
論文 参考訳(メタデータ) (2020-11-03T06:53:06Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - Generalized Multi-Output Gaussian Process Censored Regression [7.111443975103331]
本稿では、GPの非パラメトリックな柔軟性と、入力依存ノイズ条件下での相関出力からの情報を活用する能力を組み合わせたヘテロスセダスティック多出力ガウスプロセスモデルを提案する。
結果として、柔軟性を追加することで、潜在的に複雑な検閲ダイナミクスの下で、モデルが基盤となる非検閲プロセス(すなわち、真)をより正確に見積もることができるかが示される。
論文 参考訳(メタデータ) (2020-09-10T12:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。