論文の概要: Composition of Relational Features with an Application to Explaining
Black-Box Predictors
- arxiv url: http://arxiv.org/abs/2206.00738v1
- Date: Wed, 1 Jun 2022 19:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 13:50:49.110236
- Title: Composition of Relational Features with an Application to Explaining
Black-Box Predictors
- Title(参考訳): 関係特徴の合成とブラックボックス予測器の解説への応用
- Authors: Ashwin Srinivasan, A Baskar, Tirtharaj Dash, Devanshu Shah
- Abstract要約: 本稿では,特徴を関係関数として扱う。
関数の一般化合成の概念を用いて、より単純な関数から複素関数を導出する。
適切な説明を識別する能力に関する実証的な証拠を提供する。
- 参考スコア(独自算出の注目度): 1.527158014930024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relational machine learning programs like those developed in Inductive Logic
Programming (ILP) offer several advantages: (1) The ability to model complex
relationships amongst data instances; (2) The use of domain-specific relations
during model construction; and (3) The models constructed are human-readable,
which is often one step closer to being human-understandable. However, these
ILP-like methods have not been able to capitalise fully on the rapid hardware,
software and algorithmic developments fuelling current developments in deep
neural networks. In this paper, we treat relational features as functions and
use the notion of generalised composition of functions to derive complex
functions from simpler ones. We formulate the notion of a set of
$\text{M}$-simple features in a mode language $\text{M}$ and identify two
composition operators ($\rho_1$ and $\rho_2$) from which all possible complex
features can be derived. We use these results to implement a form of
"explainable neural network" called Compositional Relational Machines, or CRMs,
which are labelled directed-acyclic graphs. The vertex-label for any vertex $j$
in the CRM contains a feature-function $f_j$ and a continuous activation
function $g_j$. If $j$ is a "non-input" vertex, then $f_j$ is the composition
of features associated with vertices in the direct predecessors of $j$. Our
focus is on CRMs in which input vertices (those without any direct
predecessors) all have $\text{M}$-simple features in their vertex-labels. We
provide a randomised procedure for constructing and learning such CRMs. Using a
notion of explanations based on the compositional structure of features in a
CRM, we provide empirical evidence on synthetic data of the ability to identify
appropriate explanations; and demonstrate the use of CRMs as 'explanation
machines' for black-box models that do not provide explanations for their
predictions.
- Abstract(参考訳): Inductive Logic Programming (ILP) で開発されたリレーショナル機械学習プログラムは、(1)データインスタンス間の複雑な関係をモデル化する能力、(2)モデル構築中にドメイン固有の関係を利用する能力、(3)構築されたモデルは人間可読性であり、しばしば人間の理解に近づく。
しかし、これらのirpライクな手法は、ディープニューラルネットワークの現在の発展を加速させる急速ハードウェア、ソフトウェア、アルゴリズム開発に完全に乗じることができない。
本稿では,関係特徴を関数として扱い,関数の一般化合成の概念を用いてより単純な関数から複素関数を導出する。
モード言語 $\text{M}$ における $\text{M}$-simple 機能の集合の概念を定式化し、2つの合成演算子 ($\rho_1$ と $\rho_2$) を特定し、そこからすべての複雑な特徴を導出できる。
これらの結果を用いて,有向非巡回グラフをラベル付けした合成関係機械 (crm) と呼ばれる「説明可能なニューラルネットワーク」の実装を行った。
CRM の任意のvertex $j$ のvertex-label には、フィーチャー関数 $f_j$ と連続アクティベーション関数 $g_j$ が含まれている。
j$ が "非入力" 頂点であれば、$f_j$ は、直接前者の $j$ の頂点に関連する特徴の合成である。
私たちの焦点はCRMで、入力頂点(直接の前身がない)はすべて、頂点ラベルに$\text{M}$-simple機能を持っています。
このようなCRMを構築し学習するためのランダムな手順を提供する。
CRMの特徴の構成構造に基づく説明の概念を用いて、適切な説明を識別する能力の合成データに関する実証的証拠を提供し、それらの予測に説明を提供しないブラックボックスモデルの「説明機械」としてCRMの使用を実証する。
関連論文リスト
- FIND: A Function Description Benchmark for Evaluating Interpretability
Methods [86.80718559904854]
本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。
FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。
本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
論文 参考訳(メタデータ) (2023-09-07T17:47:26Z) - Molecular Design Based on Integer Programming and Splitting Data Sets by
Hyperplanes [6.504869613326338]
化学物質の分子構造を所望の化学的性質で設計するための枠組みを提案する。
提案フレームワークは,混合整数線形プログラム (MILP) と機械学習によって構築された予測関数を解くことで,所望の化学グラフを推定する。
計算実験の結果,提案手法は,優れた予測関数の構築が困難であったいくつかの化学特性の学習性能を向上させることが示唆された。
論文 参考訳(メタデータ) (2023-04-27T04:18:41Z) - Functional Indirection Neural Estimator for Better Out-of-distribution
Generalization [27.291114360472243]
FINE(Functional Indirection Neural Estorimator)は、入力されたデータをオンザフライで出力する関数を構成することを学ぶ。
我々は、MNIST、Omniglot、CIFAR100データセットの画像を用いて、IQタスク上でFINEと競合するモデルを訓練する。
FINEはすべてのタスクで最高のパフォーマンスを達成するだけでなく、小さなデータシナリオにも適応できる。
論文 参考訳(メタデータ) (2022-10-23T14:43:02Z) - SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
完全に接続されたネットワークはユビキタスだが解釈不能である。
本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
論文 参考訳(メタデータ) (2021-11-20T16:18:00Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:59:41Z) - GraphFM: Graph Factorization Machines for Feature Interaction Modeling [17.649753704440887]
本稿では,グラフ構造の特徴を自然に表現するグラフファクトリゼーションマシン(GraphFM)を提案する。
特に、新しいメカニズムは、有益な特徴相互作用を選択し、特徴間のエッジとして定式化するように設計されている。
提案モデルでは,階層化によるグラフ構造化特徴量に対する任意次特徴量相互作用をモデル化できる。
論文 参考訳(メタデータ) (2021-05-25T12:10:54Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳(メタデータ) (2020-11-09T18:32:22Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。
多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
論文 参考訳(メタデータ) (2020-06-20T20:33:59Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳(メタデータ) (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。