論文の概要: Scalable Interpretability via Polynomials

• arxiv url: http://arxiv.org/abs/2205.14108v1
• Date: Fri, 27 May 2022 17:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 13:31:27.254325
• Title: Scalable Interpretability via Polynomials
• Title（参考訳）: 多項式によるスケーラブルな解釈可能性
• Authors: Abhimanyu Dubey, Filip Radenovic and Dhruv Mahajan
• Abstract要約: GAM(Generalized Additive Models)は、完全に解釈可能な機械学習の主要な選択肢である。 DNNのような解釈不能な方法とは異なり、パワーとスケーラビリティに欠けており、現実のタスクでは実現不可能な代替手段である。 我々は、モデルのテンソル分解を用いて、強力な$textitfully-prepretable$高次相互作用を学習する新しいクラスのGAMを提案する。
• 参考スコア（独自算出の注目度）: 33.51591891812176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized Additive Models (GAMs) have quickly become the leading choice for fully-interpretable machine learning. However, unlike uninterpretable methods such as DNNs, they lack expressive power and easy scalability, and are hence not a feasible alternative for real-world tasks. We present a new class of GAMs that use tensor rank decompositions of polynomials to learn powerful, $\textit{fully-interpretable}$ models. Our approach, titled Scalable Polynomial Additive Models (SPAM) is effortlessly scalable and models $\textit{all}$ higher-order feature interactions without a combinatorial parameter explosion. SPAM outperforms all current interpretable approaches, and matches DNN/XGBoost performance on a series of real-world benchmarks with up to hundreds of thousands of features. We demonstrate by human subject evaluations that SPAMs are demonstrably more interpretable in practice, and are hence an effortless replacement for DNNs for creating interpretable and high-performance systems suitable for large-scale machine learning.
• Abstract（参考訳）: GAM(Generalized Additive Models)は、完全に解釈可能な機械学習の主要な選択肢である。 しかし、DNNのような解釈不能な方法とは異なり、表現力やスケーラビリティに欠けており、現実のタスクでは実現不可能である。 我々は、多項式のテンソル階分解を用いて、$\textit{fully-interpretable}$モデルを学ぶ新しいクラスを示す。 当社のアプローチは,SPAM(Scalable Polynomial Additive Models)と題され,拡張性に富むもので,組合せパラメータの爆発を伴わない高次特徴相互作用をモデルとする。 SPAMは現在の解釈可能なアプローチをすべて上回り、DNN/XGBoostのパフォーマンスを数十万のフィーチャを持つ実世界のベンチマークで比較する。 本研究では,SPAMが実際により解釈可能であり,大規模機械学習に適した解釈可能かつ高性能なシステムを構築する上で,DNNの代替となることを示す。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• CharED: Character-wise Ensemble Decoding for Large Language Models [24.993790740335243]
  本稿では,複数の大規模言語モデルから出力を"出力する"ことを目的とした推論時アンサンブルアルゴリズムを提案する。 提案モデルでは,語彙,トークン化,モデルサイズに関わらず,複数のLLMの補完的強度を組み合わせることができる。
  論文  参考訳（メタデータ） (2024-06-25T22:35:07Z)
• Deep Symbolic Optimization for Combinatorial Optimization: Accelerating Node Selection by Discovering Potential Heuristics [10.22111332588471]
  本稿では,その利点を生かした,新しい記号的最適化学習フレームワークを提案する。 Dso4NSは高次元離散記号空間内の数学的表現の探索をガイドし、最高性能の数学的表現を解法に組み込む。 実験では、Dso4NSが高品質な表現の学習に有効であることを示し、CPUマシンにおける既存のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-14T06:02:14Z)
• Interpretable time series neural representation for classification purposes [3.1201323892302444]
  提案したモデルは、一貫した、離散的で、解釈可能で、可視化可能な表現を生成する。 実験の結果,提案したモデルでは,複数のデータセットに対する他の解釈可能なアプローチよりも平均的に優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T15:06:57Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Extension of Transformational Machine Learning: Classification Problems [0.0]
  本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。 メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。 薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-08-07T07:34:18Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。