論文の概要: Interpretable Mixture of Experts
- arxiv url: http://arxiv.org/abs/2206.02107v2
- Date: Thu, 25 May 2023 21:43:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 00:18:36.525721
- Title: Interpretable Mixture of Experts
- Title(参考訳): 専門家の解釈可能な混合
- Authors: Aya Abdelsalam Ismail, Sercan \"O. Arik, Jinsung Yoon, Ankur Taly,
Soheil Feizi and Tomas Pfister
- Abstract要約: Interpretable Mixture of Experts (IME)は本質的に解釈可能なモデリングフレームワークである。
IMEは単一の解釈可能なモデルよりも正確であることが示され、既存の最先端のDeep Neural Networks(DNN)と正確に比較できる。
IMEの説明は、ユーザスタディを通じて一般的に使われているポストホックな説明法と比較される。
- 参考スコア(独自算出の注目度): 71.55701784196253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The need for reliable model explanations is prominent for many machine
learning applications, particularly for tabular and time-series data as their
use cases often involve high-stakes decision making. Towards this goal, we
introduce a novel interpretable modeling framework, Interpretable Mixture of
Experts (IME), that yields high accuracy, comparable to `black-box' Deep Neural
Networks (DNNs) in many cases, along with useful interpretability capabilities.
IME consists of an assignment module and a mixture of experts, with each sample
being assigned to a single expert for prediction. We introduce multiple options
for IME based on the assignment and experts being interpretable. When the
experts are chosen to be interpretable such as linear models, IME yields an
inherently-interpretable architecture where the explanations produced by IME
are the exact descriptions of how the prediction is computed. In addition to
constituting a standalone inherently-interpretable architecture, IME has the
premise of being integrated with existing DNNs to offer interpretability to a
subset of samples while maintaining the accuracy of the DNNs. Through extensive
experiments on 15 tabular and time-series datasets, IME is demonstrated to be
more accurate than single interpretable models and perform comparably with
existing state-of-the-art DNNs in accuracy. On most datasets, IME even
outperforms DNNs, while providing faithful explanations. Lastly, IME's
explanations are compared to commonly-used post-hoc explanations methods
through a user study -- participants are able to better predict the model
behavior when given IME explanations, while finding IME's explanations more
faithful and trustworthy.
- Abstract(参考訳): 信頼性のあるモデル説明の必要性は多くの機械学習アプリケーション、特に表や時系列のデータにおいて顕著である。
この目的に向けて,新しい解釈可能なモデリングフレームワークである Interpretable Mixture of Experts (IME) を導入し,多くのケースにおいて 'black-box' Deep Neural Networks (DNN) に匹敵する高い精度を実現する。
IMEは割り当てモジュールと専門家の混合物で構成され、各サンプルは予測のために単一の専門家に割り当てられる。
課題と専門家の解釈に基づくIMEの複数のオプションを導入する。
専門家が線形モデルのような解釈可能なものを選ぶと、IMEが生成した説明が予測の計算方法の正確な記述である、本質的に解釈可能なアーキテクチャが得られる。
スタンドアローンで本質的に解釈可能なアーキテクチャを構成することに加えて、IMEは既存のDNNと統合され、DNNの精度を維持しながらサンプルのサブセットに解釈可能性を提供するという前提を持っている。
15の表と時系列のデータセットに関する広範な実験により、IMEは単一の解釈可能なモデルよりも正確であることが示され、既存の最先端のDNNと正確に比較可能である。
ほとんどのデータセットでは、IMEはDNNよりも優れ、忠実な説明を提供する。
最後に、IMEの説明は、ユーザスタディを通じて一般的に使われるポストホックな説明方法と比較される -- 参加者は、IMEの説明が与えられたときのモデルの振る舞いをより正確に予測し、IMEの説明をより忠実で信頼できるものにすることができる。
関連論文リスト
- XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。
伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。
時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
論文 参考訳(メタデータ) (2024-10-18T05:16:39Z) - DISCRET: Synthesizing Faithful Explanations For Treatment Effect Estimation [21.172795461188578]
我々は,各サンプルに対して忠実で規則に基づく説明を合成する自己解釈型ITTフレームワークdisCRETを提案する。
DISCRETの背景にある重要な洞察は、説明が2つのデータベースクエリとして機能し、類似したサンプルのサブグループを識別できるということである。
大規模な探索空間からこれらの説明を効率的に合成する新しいRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-02T04:01:08Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳(メタデータ) (2024-05-10T17:11:31Z) - Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳(メタデータ) (2024-03-04T08:38:56Z) - On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。
我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。
本研究は,専門家の選択に重要な意味を持つ。
論文 参考訳(メタデータ) (2024-02-05T12:31:18Z) - InterpretCC: Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
ニューラルネットワークの解釈性は、3つの重要な要件間のトレードオフである。
本稿では,人間中心の解釈可能性を保証する,解釈可能なニューラルネットワークのファミリであるInterpretCCを提案する。
論文 参考訳(メタデータ) (2024-02-05T11:55:50Z) - Local Interpretable Model Agnostic Shap Explanations for machine
learning models [0.0]
局所解釈可能なモデル非依存型シェイプ説明法(LIMASE)を提案する。
提案手法は, LIMEパラダイムの下でシェープリー値を用いて, 局所的忠実かつ解釈可能な決定木モデルを用いて, シェープリー値を計算し, 視覚的に解釈可能な説明を行うことにより, 任意のモデルの予測を行う。
論文 参考訳(メタデータ) (2022-10-10T10:07:27Z) - Mixture of Linear Models Co-supervised by Deep Neural Networks [14.831346286039151]
本稿では,比較的単純な説明可能なモデルとディープニューラルネットワーク(DNN)モデルとのギャップを埋めるためのアプローチを提案する。
私たちの主なアイデアは、DNNからのガイダンスでトレーニングされた差別モデルの組み合わせです。
論文 参考訳(メタデータ) (2021-08-05T02:08:35Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - Explanations of Black-Box Model Predictions by Contextual Importance and
Utility [1.7188280334580195]
本稿では,初級者だけでなく専門家が容易に理解できる説明を抽出するために,文脈重要度(CI)と文脈実用性(CU)の概念を提案する。
本手法は,モデルを解釈可能なモデルに変換することなく予測結果を説明する。
カーセレクションの例とアイリスの花分類における説明の有用性を,完全な(つまり,個人の予測の原因)と対照的な説明を提示することによって示す。
論文 参考訳(メタデータ) (2020-05-30T06:49:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。