論文の概要: Composition of Relational Features with an Application to Explaining
Black-Box Predictors
- arxiv url: http://arxiv.org/abs/2206.00738v1
- Date: Wed, 1 Jun 2022 19:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 13:50:49.110236
- Title: Composition of Relational Features with an Application to Explaining
Black-Box Predictors
- Title（参考訳）: 関係特徴の合成とブラックボックス予測器の解説への応用
- Authors: Ashwin Srinivasan, A Baskar, Tirtharaj Dash, Devanshu Shah
- Abstract要約: 本稿では,特徴を関係関数として扱う。
関数の一般化合成の概念を用いて、より単純な関数から複素関数を導出する。
適切な説明を識別する能力に関する実証的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 1.527158014930024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relational machine learning programs like those developed in Inductive Logic
Programming (ILP) offer several advantages: (1) The ability to model complex
relationships amongst data instances; (2) The use of domain-specific relations
during model construction; and (3) The models constructed are human-readable,
which is often one step closer to being human-understandable. However, these
ILP-like methods have not been able to capitalise fully on the rapid hardware,
software and algorithmic developments fuelling current developments in deep
neural networks. In this paper, we treat relational features as functions and
use the notion of generalised composition of functions to derive complex
functions from simpler ones. We formulate the notion of a set of
$\text{M}$-simple features in a mode language $\text{M}$ and identify two
composition operators ($\rho_1$ and $\rho_2$) from which all possible complex
features can be derived. We use these results to implement a form of
"explainable neural network" called Compositional Relational Machines, or CRMs,
which are labelled directed-acyclic graphs. The vertex-label for any vertex $j$
in the CRM contains a feature-function $f_j$ and a continuous activation
function $g_j$. If $j$ is a "non-input" vertex, then $f_j$ is the composition
of features associated with vertices in the direct predecessors of $j$. Our
focus is on CRMs in which input vertices (those without any direct
predecessors) all have $\text{M}$-simple features in their vertex-labels. We
provide a randomised procedure for constructing and learning such CRMs. Using a
notion of explanations based on the compositional structure of features in a
CRM, we provide empirical evidence on synthetic data of the ability to identify
appropriate explanations; and demonstrate the use of CRMs as 'explanation
machines' for black-box models that do not provide explanations for their
predictions.
- Abstract（参考訳）: Inductive Logic Programming (ILP) で開発されたリレーショナル機械学習プログラムは、(1)データインスタンス間の複雑な関係をモデル化する能力、(2)モデル構築中にドメイン固有の関係を利用する能力、(3)構築されたモデルは人間可読性であり、しばしば人間の理解に近づく。
しかし、これらのirpライクな手法は、ディープニューラルネットワークの現在の発展を加速させる急速ハードウェア、ソフトウェア、アルゴリズム開発に完全に乗じることができない。
本稿では,関係特徴を関数として扱い,関数の一般化合成の概念を用いてより単純な関数から複素関数を導出する。
モード言語 $\text{M}$ における $\text{M}$-simple 機能の集合の概念を定式化し、2つの合成演算子 ($\rho_1$ と $\rho_2$) を特定し、そこからすべての複雑な特徴を導出できる。
これらの結果を用いて,有向非巡回グラフをラベル付けした合成関係機械 (crm) と呼ばれる「説明可能なニューラルネットワーク」の実装を行った。
CRM の任意のvertex $j$ のvertex-label には、フィーチャー関数 $f_j$ と連続アクティベーション関数 $g_j$ が含まれている。
j$ が "非入力" 頂点であれば、$f_j$ は、直接前者の $j$ の頂点に関連する特徴の合成である。
私たちの焦点はCRMで、入力頂点(直接の前身がない)はすべて、頂点ラベルに$\text{M}$-simple機能を持っています。
このようなCRMを構築し学習するためのランダムな手順を提供する。
CRMの特徴の構成構造に基づく説明の概念を用いて、適切な説明を識別する能力の合成データに関する実証的証拠を提供し、それらの予測に説明を提供しないブラックボックスモデルの「説明機械」としてCRMの使用を実証する。
関連論文リスト
- Partial Identifiability and Misspecification in Inverse Reinforcement Learning [64.13583792391783]
Inverse Reinforcement Learning の目的は、報酬関数 $R$ をポリシー $pi$ から推論することである。
本稿では,IRLにおける部分的識別性と不特定性について包括的に分析する。
論文 参考訳（メタデータ） (2024-11-24T18:35:46Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - Generating $SROI^-$ Ontologies via Knowledge Graph Query Embedding Learning [26.905431434167536]
本稿では,このグラフから学習した知識を,SROI-$記述論理公理の形で記述する新しいクエリ埋め込み手法AConEを提案する。
AConEはパラメータが少なく、以前のベースラインよりも優れた結果が得られる。
我々は,公理を表現する能力が問合せ応答の結果に肯定的な影響を及ぼすことを示す包括的分析を行った。
論文 参考訳（メタデータ） (2024-07-12T12:20:39Z) - Generalized Simplicial Attention Neural Networks [22.171364354867723]
我々はGSAN(Generalized Simplicial Attention Neural Networks)を紹介する。
GSANは、マスク付き自己意図層を用いて、単純な複合体に生きるデータを処理する。
これらのスキームは、タスク指向の方法で、連続した順序の隣り合う単純さに関連するデータを組み合わせる方法を学ぶ。
論文 参考訳（メタデータ） (2023-09-05T11:29:25Z) - SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
完全に接続されたネットワークはユビキタスだが解釈不能である。
本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
論文 参考訳（メタデータ） (2021-11-20T16:18:00Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - GraphFM: Graph Factorization Machines for Feature Interaction Modeling [27.307086868266012]
本稿では,グラフ構造の特徴を自然に表現し,グラフ因子化マシン(GraphFM)を提案する。
特に,有用な特徴間相互作用を選択し,特徴間のエッジとして定式化する機構を設計する。
提案モデルでは, FMの相互作用関数をグラフニューラルネットワーク(GNN)の特徴集約戦略に統合する。
論文 参考訳（メタデータ） (2021-05-25T12:10:54Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。
多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
論文 参考訳（メタデータ） (2020-06-20T20:33:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。