論文の概要: DeforestVis: Behavior Analysis of Machine Learning Models with Surrogate Decision Stumps

• arxiv url: http://arxiv.org/abs/2304.00133v3
• Date: Mon, 23 Oct 2023 19:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 01:26:36.779850
• Title: DeforestVis: Behavior Analysis of Machine Learning Models with Surrogate Decision Stumps
• Title（参考訳）: deforestvis:surrogate decision stumpsを用いた機械学習モデルの行動分析
• Authors: Angelos Chatzimparmpas, Rafael M. Martins, Alexandru C. Telea, Andreas Kerren
• Abstract要約: 複雑なMLモデルの振る舞いをユーザフレンドリに要約するビジュアル分析ツールであるDeforestVisを提案する。 DeforestVisは、より多くの切り株をインクリメンタルに生成することで、複雑さとフィデリティのトレードオフを探索するのに役立つ。 DeforestVisの適用性と有用性について,2つのユースケースと,データアナリストとモデル開発者とのエキスパートインタビューで紹介する。
• 参考スコア（独自算出の注目度）: 49.97564931094598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the complexity of machine learning (ML) models increases and their application in different (and critical) domains grows, there is a strong demand for more interpretable and trustworthy ML. A direct, model-agnostic, way to interpret such models is to train surrogate models, such as rule sets and decision trees, that sufficiently approximate the original ones while being simpler and easier-to-explain. Yet, rule sets can become very lengthy, with many if-else statements, and decision tree depth grows rapidly when accurately emulating complex ML models. In such cases, both approaches can fail to meet their core goal, providing users with model interpretability. To tackle this, we propose DeforestVis, a visual analytics tool that offers user-friendly summarization of the behavior of complex ML models by providing surrogate decision stumps (one-level decision trees) generated with the adaptive boosting (AdaBoost) technique. DeforestVis helps users to explore the complexity vs fidelity trade-off by incrementally generating more stumps, creating attribute-based explanations with weighted stumps to justify decision making, and analyzing the impact of rule overriding on training instance allocation between one or more stumps. An independent test set allows users to monitor the effectiveness of manual rule changes and form hypotheses based on case-by-case analyses. We show the applicability and usefulness of DeforestVis with two use cases and expert interviews with data analysts and model developers.
• Abstract（参考訳）: 機械学習(ML)モデルの複雑さが増大し、異なる(そして重要な)ドメインでの応用が増加するにつれて、より解釈可能で信頼性の高いMLに対する強い需要がある。 そのようなモデルを直接的にモデルに依存しない解釈の方法は、ルールセットや決定木といった、よりシンプルで説明しやすく、元のモデルに十分近似するサーロゲートモデルを訓練することである。 しかし、ルールセットは非常に長くなり、多くのif-else文があり、複雑なMLモデルを正確にエミュレートすると決定木深さが急速に増加する。 そのような場合、両方のアプローチはコア目標を達成できず、ユーザーにモデル解釈性を提供する。 そこで本研究では,アダプティブ・ブースティング(adaboost)技術を用いて生成されたサーロゲート決定スランプ(一段階決定木)を提供することにより,複雑なmlモデルの挙動をユーザフレンドリに要約するビジュアル分析ツールであるdeforestvisを提案する。 DeforestVisは、より多くの切り株をインクリメンタルに生成し、決定を正当化するために重み付けされた切り株を使った属性ベースの説明を作成し、ルールオーバーライドが1つ以上の切り株間のトレーニングインスタンス割り当てに与える影響を分析することで、複雑さと忠実さのトレードオフを探索するのに役立つ。 独立したテストセットにより、ユーザは手動のルール変更の有効性を監視し、ケースバイケース分析に基づいて仮説を形成することができる。 2つのユースケースでdeforestvisの適用可能性と有用性を示し,データアナリストとモデル開発者とのエキスパートインタビューを行った。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions [3.0655581300025996]
  我々は,2つの一般的な説明手法(Occlusion と Shapley の値)に対して,モデルに依存しない実装を提供し,その複雑なモデルにおいて,完全に異なる属性を強制する。 提案手法は,修正された説明に基づいてトレーニングデータセットを増強することで,モデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-28T15:23:28Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Using Shape Metrics to Describe 2D Data Points [0.0]
  本稿では,2次元データを記述するために形状計測を用いて,解析をより説明しやすく解釈可能にすることを提案する。 これは、説明可能性の権利が不可欠である医療コミュニティにおける応用において特に重要である。
  論文  参考訳（メタデータ） (2022-01-27T23:28:42Z)
• Visual Exploration of Machine Learning Model Behavior with Hierarchical Surrogate Rule Sets [13.94542147252982]
  本稿では,ユーザ定義パラメータに基づく階層的ルールを生成するアルゴリズムである階層的サロゲートルール(HSR)を提案する。 我々はまた、HSRと対話型代理ルール可視化を統合した視覚分析(VA)システムであるSuREにも貢献する。 パラメータ感度,時間性能,および代理決定木との比較により,本アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2022-01-19T17:03:35Z)
• VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and Boosted Decision Trees [3.5229503563299915]
  バッグングとブースティングは、機械学習(ML)において、多くの個別決定木を生成する2つの一般的なアンサンブル手法である。 本稿では,このようなMLモデルから決定を抽出するユーザを支援する視覚分析ツールを提案する。
  論文  参考訳（メタデータ） (2021-12-01T08:01:02Z)
• Learning Causal Models of Autonomous Agents using Interventions [11.351235628684252]
  我々は、AIシステムがシミュレータで高レベルの命令シーケンスを実行することができるエージェントアセスメントモジュールの分析を拡張した。 このような原始的なクエリ応答能力は、システムのユーザ解釈可能な因果関係モデルを効率的に導出するのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-08-21T21:33:26Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。