論文の概要: Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability

• arxiv url: http://arxiv.org/abs/2003.06441v1
• Date: Fri, 13 Mar 2020 18:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 01:13:46.345844
• Title: Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability
• Title（参考訳）: 精度と解釈性を兼ね備えたスパース局所線形モデルのニューラルジェネレータ
• Authors: Yuya Yoshikawa, Tomoharu Iwata
• Abstract要約: スパース局所線形モデル(NGSLL)のニューラルジェネレータを提案する。 NGSLLはディープニューラルネットワーク(DNN)を用いて各サンプルに対してスパース線形重みを生成する 予測性能を評価し,画像およびテキスト分類タスクにおいて生成した重みを可視化することにより,NGSLLの有効性を定量的かつ質的に実証する。
• 参考スコア（独自算出の注目度）: 28.90948136731314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For reliability, it is important that the predictions made by machine learning methods are interpretable by human. In general, deep neural networks (DNNs) can provide accurate predictions, although it is difficult to interpret why such predictions are obtained by DNNs. On the other hand, interpretation of linear models is easy, although their predictive performance would be low since real-world data is often intrinsically non-linear. To combine both the benefits of the high predictive performance of DNNs and high interpretability of linear models into a single model, we propose neural generators of sparse local linear models (NGSLLs). The sparse local linear models have high flexibility as they can approximate non-linear functions. The NGSLL generates sparse linear weights for each sample using DNNs that take original representations of each sample (e.g., word sequence) and their simplified representations (e.g., bag-of-words) as input. By extracting features from the original representations, the weights can contain rich information to achieve high predictive performance. Additionally, the prediction is interpretable because it is obtained by the inner product between the simplified representations and the sparse weights, where only a small number of weights are selected by our gate module in the NGSLL. In experiments with real-world datasets, we demonstrate the effectiveness of the NGSLL quantitatively and qualitatively by evaluating prediction performance and visualizing generated weights on image and text classification tasks.
• Abstract（参考訳）: 信頼性のためには,機械学習手法による予測が人間によって解釈できることが重要である。 一般に、ディープニューラルネットワーク(DNN)は正確な予測を提供することができるが、なぜそのような予測がDNNによって得られるのかを理解するのは難しい。 一方で、実世界のデータは本質的に非線形であることが多いため、予測性能は低いが、線形モデルの解釈は容易である。 DNNの高予測性能と線形モデルの高解釈可能性の利点を1つのモデルに組み合わせて、疎局所線形モデル(NGSLL)のニューラルジェネレータを提案する。 スパース局所線型モデルは、非線形関数を近似できるため、高い柔軟性を持つ。 ngsllは、各サンプル(例えば単語列)とそれらの簡易表現(例えば単語の袋)のオリジナル表現を入力とするdnnを使用して、各サンプルに対してスパース線形重みを生成する。 元の表現から特徴を抽出することにより、重みは高い予測性能を達成するために豊富な情報を含むことができる。 さらに、簡易表現とスパース重みの間に内積が得られ、ngsllのゲートモジュールによって少量の重みしか選択されないため、予測は解釈可能である。 実世界のデータセットを用いた実験において,予測性能を評価し,画像とテキストの分類タスクで生成された重みを可視化することにより,ngsllの有効性を定量的・質的に実証する。

関連論文リスト

• The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
  本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。 実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
  論文  参考訳（メタデータ） (2023-02-02T05:00:29Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
  本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。 サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。 本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T15:46:50Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。