論文の概要: Learning a Formula of Interpretability to Learn Interpretable Formulas
- arxiv url: http://arxiv.org/abs/2004.11170v2
- Date: Thu, 28 May 2020 15:08:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 09:12:24.183608
- Title: Learning a Formula of Interpretability to Learn Interpretable Formulas
- Title（参考訳）: 解釈可能な公式を学ぶための解釈可能性の式を学ぶ
- Authors: Marco Virgolin, Andrea De Lorenzo, Eric Medvet, and Francesca Randone
- Abstract要約: 人間の解釈可能性の非対象プロキシのMLモデルが人間のフィードバックから学習可能であることを示す。
進化的シンボリック回帰について示す。
我々のアプローチは、次世代の解釈可能な(進化的な)MLアルゴリズムの設計のための重要なステップストーンである。
- 参考スコア（独自算出の注目度）: 1.7616042687330642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many risk-sensitive applications require Machine Learning (ML) models to be
interpretable. Attempts to obtain interpretable models typically rely on
tuning, by trial-and-error, hyper-parameters of model complexity that are only
loosely related to interpretability. We show that it is instead possible to
take a meta-learning approach: an ML model of non-trivial Proxies of Human
Interpretability (PHIs) can be learned from human feedback, then this model can
be incorporated within an ML training process to directly optimize for
interpretability. We show this for evolutionary symbolic regression. We first
design and distribute a survey finalized at finding a link between features of
mathematical formulas and two established PHIs, simulatability and
decomposability. Next, we use the resulting dataset to learn an ML model of
interpretability. Lastly, we query this model to estimate the interpretability
of evolving solutions within bi-objective genetic programming. We perform
experiments on five synthetic and eight real-world symbolic regression
problems, comparing to the traditional use of solution size minimization. The
results show that the use of our model leads to formulas that are, for a same
level of accuracy-interpretability trade-off, either significantly more or
equally accurate. Moreover, the formulas are also arguably more interpretable.
Given the very positive results, we believe that our approach represents an
important stepping stone for the design of next-generation interpretable
(evolutionary) ML algorithms.
- Abstract（参考訳）: 多くのリスクに敏感なアプリケーションは、機械学習(ML)モデルを解釈する必要がある。
解釈可能なモデルを得る試みは、典型的には、解釈可能性にゆるやかな関係しか持たないモデル複雑性の試行錯誤によって、チューニングに依存する。
非自明な人間解釈可能性プロキシ(PHI)のMLモデルは人間のフィードバックから学習でき、このモデルはMLトレーニングプロセスに組み込んで解釈可能性を直接最適化することができる。
これを進化的記号回帰として示す。
まず,数式の特徴と2つの確立されたphi,simulatability と decomposability の関連を究明したサーベイを設計,配布した。
次に、得られたデータセットを使用して、解釈可能性のMLモデルを学ぶ。
最後に,二目的遺伝的プログラミングにおける進化する解の解釈可能性を評価するために,このモデルに照会する。
5つの合成問題と8つの実世界の記号回帰問題の実験を行い、従来の解サイズ最小化法と比較した。
その結果,本モデルの利用は,同一レベルの正確性・解釈可能性のトレードオフに対して,著しく正確か等しく導かれることが判明した。
さらに、式はより解釈可能である。
非常にポジティブな結果を考えると、当社のアプローチは次世代の解釈可能(進化的)mlアルゴリズムの設計において重要な一歩となると思います。
関連論文リスト
- On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文 参考訳（メタデータ） (2024-10-11T18:02:46Z) - Are Linear Regression Models White Box and Interpretable? [0.0]
説明可能な人工知能(XAI)は、モデルを理解し解釈するために機械学習モデルに適用または組み込んだ一連のツールとアルゴリズムである。
線形回帰を含む単純なモデルは実装が容易であり、計算の複雑さが小さく、出力を視覚化するのも容易である。
論文 参考訳（メタデータ） (2024-07-16T21:05:51Z) - Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
人為的なデータに基づく微調整言語モデル(LM)が普及している。
我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。
ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-11T18:17:43Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Discovering interpretable elastoplasticity models via the neural
polynomial method enabled symbolic regressions [0.0]
従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。
本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
論文 参考訳（メタデータ） (2023-07-24T22:22:32Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Automated Learning of Interpretable Models with Quantified Uncertainty [0.0]
我々は遺伝子プログラミングに基づくシンボリックレグレッション(GPSR)の新しい枠組みを導入する。
GPSRはモデルエビデンスを用いて、進化の選択段階における置換確率を定式化する。
従来のGPSR実装と比較して、解釈可能性の向上、ノイズに対する堅牢性の向上、オーバーフィッティングの低減が示されている。
論文 参考訳（メタデータ） (2022-04-12T19:56:42Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - The Definitions of Interpretability and Learning of Interpretable Models [42.22982369082474]
人間の解釈可能なモデルに対する数学的定義を提案する。
予測モデルが人間の認識システムによって解釈される場合、予測モデルは完全な人間解釈モデルとして定義される。
論文 参考訳（メタデータ） (2021-05-29T01:44:12Z) - Model Learning with Personalized Interpretability Estimation (ML-PIE) [2.862606936691229]
ハイステークアプリケーションは、AI生成モデルを解釈可能にする必要がある。
解釈可能なモデルの合成のための現在のアルゴリズムは、目的や正規化項に依存する。
本稿では,ユーザ向けにカスタマイズされたモデルの合成手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T09:47:48Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。