論文の概要: Scalable Interpretability via Polynomials
- arxiv url: http://arxiv.org/abs/2205.14108v1
- Date: Fri, 27 May 2022 17:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:31:27.254325
- Title: Scalable Interpretability via Polynomials
- Title(参考訳): 多項式によるスケーラブルな解釈可能性
- Authors: Abhimanyu Dubey, Filip Radenovic and Dhruv Mahajan
- Abstract要約: GAM(Generalized Additive Models)は、完全に解釈可能な機械学習の主要な選択肢である。
DNNのような解釈不能な方法とは異なり、パワーとスケーラビリティに欠けており、現実のタスクでは実現不可能な代替手段である。
我々は、モデルのテンソル分解を用いて、強力な$textitfully-prepretable$高次相互作用を学習する新しいクラスのGAMを提案する。
- 参考スコア(独自算出の注目度): 33.51591891812176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalized Additive Models (GAMs) have quickly become the leading choice for
fully-interpretable machine learning. However, unlike uninterpretable methods
such as DNNs, they lack expressive power and easy scalability, and are hence
not a feasible alternative for real-world tasks. We present a new class of GAMs
that use tensor rank decompositions of polynomials to learn powerful,
$\textit{fully-interpretable}$ models. Our approach, titled Scalable Polynomial
Additive Models (SPAM) is effortlessly scalable and models $\textit{all}$
higher-order feature interactions without a combinatorial parameter explosion.
SPAM outperforms all current interpretable approaches, and matches DNN/XGBoost
performance on a series of real-world benchmarks with up to hundreds of
thousands of features. We demonstrate by human subject evaluations that SPAMs
are demonstrably more interpretable in practice, and are hence an effortless
replacement for DNNs for creating interpretable and high-performance systems
suitable for large-scale machine learning.
- Abstract(参考訳): GAM(Generalized Additive Models)は、完全に解釈可能な機械学習の主要な選択肢である。
しかし、DNNのような解釈不能な方法とは異なり、表現力やスケーラビリティに欠けており、現実のタスクでは実現不可能である。
我々は、多項式のテンソル階分解を用いて、$\textit{fully-interpretable}$モデルを学ぶ新しいクラスを示す。
当社のアプローチは,SPAM(Scalable Polynomial Additive Models)と題され,拡張性に富むもので,組合せパラメータの爆発を伴わない高次特徴相互作用をモデルとする。
SPAMは現在の解釈可能なアプローチをすべて上回り、DNN/XGBoostのパフォーマンスを数十万のフィーチャを持つ実世界のベンチマークで比較する。
本研究では,SPAMが実際により解釈可能であり,大規模機械学習に適した解釈可能かつ高性能なシステムを構築する上で,DNNの代替となることを示す。
関連論文リスト
- Interpretable time series neural representation for classification
purposes [3.1201323892302444]
提案したモデルは、一貫した、離散的で、解釈可能で、可視化可能な表現を生成する。
実験の結果,提案したモデルでは,複数のデータセットに対する他の解釈可能なアプローチよりも平均的に優れた結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-10-25T15:06:57Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳(メタデータ) (2023-10-23T04:35:58Z) - Extension of Transformational Machine Learning: Classification Problems [0.0]
本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。
メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。
薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-08-07T07:34:18Z) - Rethinking Log Odds: Linear Probability Modelling and Expert Advice in
Interpretable Machine Learning [8.831954614241234]
線形化付加モデル(LAM)とSubscaleHedgeの2つの拡張を含む、解釈可能な機械学習モデルのファミリーを紹介する。
LAMは、GAM(General Additive Models)におけるユビキタスなロジスティックリンク関数を置き換えるものであり、SubscaleHedgeはサブスケールと呼ばれる機能のサブセットでトレーニングされたベースモデルを組み合わせるためのエキスパートアドバイスアルゴリズムである。
論文 参考訳(メタデータ) (2022-11-11T17:21:57Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳(メタデータ) (2022-03-21T01:16:44Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。
我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
論文 参考訳(メタデータ) (2020-11-17T12:39:44Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳(メタデータ) (2020-05-06T01:51:30Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。