論文の概要: An interpretable neural network model through piecewise linear approximation

• arxiv url: http://arxiv.org/abs/2001.07119v1
• Date: Mon, 20 Jan 2020 14:32:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-08 04:55:51.595800
• Title: An interpretable neural network model through piecewise linear approximation
• Title（参考訳）: 分割線形近似による解釈可能なニューラルネットワークモデル
• Authors: Mengzhuo Guo, Qingpeng Zhang, Xiuwu Liao, Daniel Dajun Zeng
• Abstract要約: 本稿では,線形成分と非線形成分を組み合わせたハイブリッド解釈モデルを提案する。 第1のコンポーネントは、モデルの表現性を高めるために、一括線形近似による明示的な特徴貢献を記述する。 他のコンポーネントは多層パーセプトロンを使用して特徴相互作用と暗黙の非線形性をキャプチャし、予測性能を向上させる。
• 参考スコア（独自算出の注目度）: 7.196650216279683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing interpretable methods explain a black-box model in a post-hoc manner, which uses simpler models or data analysis techniques to interpret the predictions after the model is learned. However, they (a) may derive contradictory explanations on the same predictions given different methods and data samples, and (b) focus on using simpler models to provide higher descriptive accuracy at the sacrifice of prediction accuracy. To address these issues, we propose a hybrid interpretable model that combines a piecewise linear component and a nonlinear component. The first component describes the explicit feature contributions by piecewise linear approximation to increase the expressiveness of the model. The other component uses a multi-layer perceptron to capture feature interactions and implicit nonlinearity, and increase the prediction performance. Different from the post-hoc approaches, the interpretability is obtained once the model is learned in the form of feature shapes. We also provide a variant to explore higher-order interactions among features to demonstrate that the proposed model is flexible for adaptation. Experiments demonstrate that the proposed model can achieve good interpretability by describing feature shapes while maintaining state-of-the-art accuracy.
• Abstract（参考訳）: 既存の解釈可能な手法の多くは、ブラックボックスモデルをポストホックな方法で説明し、より単純なモデルやデータ分析技術を使ってモデルが学習された後の予測を解釈する。 しかし 彼らは (a)異なる方法及びデータサンプルが与えられた同一の予測に関する矛盾した説明を導出することができる。 b) 予測精度を犠牲にして、より単純なモデルを用いて記述精度を高めることに焦点を当てる。 これらの問題に対処するため,線形成分と非線形成分を組み合わせたハイブリッド解釈モデルを提案する。 最初のコンポーネントは、モデルの表現性を高めるために、一括線形近似による明示的な特徴貢献を記述する。 他のコンポーネントは多層パーセプトロンを使用して特徴相互作用と暗黙の非線形性をキャプチャし、予測性能を向上させる。 ポストホックアプローチとは異なり、モデルが特徴形状の形で学習されると解釈可能性が得られる。 また,機能間の高次相互作用を探索し,提案モデルが適応に柔軟であることを実証する。 実験により,提案モデルは,最先端の精度を維持しつつ,特徴形状を記述し,良好な解釈性が得られることを示した。

関連論文リスト

• Model orthogonalization and Bayesian forecast mixing via Principal Component Analysis [0.0]
  多くの場合、混合プロセスで使用されるモデルは類似している。 このような類似または冗長なモデルが存在することは、結果の誤解釈と予測性能の劣化をもたらす可能性がある。 提案するベイズモデル組合せフレームワークにモデル化を加えることで,予測精度が向上し,不確かさの定量化性能に優れることを示す。
  論文  参考訳（メタデータ） (2024-05-17T15:01:29Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
  本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。 どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
  論文  参考訳（メタデータ） (2021-06-08T18:31:02Z)
• Partially Interpretable Estimators (PIE): Black-Box-Refined Interpretable Machine Learning [5.479705009242287]
  本稿では,各特徴に対する予測を解釈可能なモデルで特徴づける部分的解釈可能な推定子(pie)を提案する。 2種類のモデルを共同トレーニングするための反復トレーニングアルゴリズムを設計します。 実験の結果,PIEはブラックボックスモデルに対して高い競争力を示し,解釈可能なベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-06T03:06:34Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Pair the Dots: Jointly Examining Training History and Test Stimuli for Model Interpretability [44.60486560836836]
  モデルからの予測は、学習履歴とテスト刺激の組み合わせによって行われる。 モデルの予測を解釈する既存の方法は、テスト刺激または学習履歴の1つの側面しかキャプチャできない。 本研究では,学習履歴とテスト刺激を共同で調べることで,モデルの予測を解釈しやすくするための,効率的かつ異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。