論文の概要: Exploring the cloud of feature interaction scores in a Rashomon set

• arxiv url: http://arxiv.org/abs/2305.10181v2
• Date: Mon, 12 Feb 2024 03:46:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 01:06:27.701807
• Title: Exploring the cloud of feature interaction scores in a Rashomon set
• Title（参考訳）: ラショモン集合における特徴的相互作用点のクラウド探索
• Authors: Sichao Li, Rong Wang, Quanling Deng, Amanda Barnard
• Abstract要約: 本稿では,Rashomon セットのコンテキストにおける特徴相互作用スコア (FIS) について述べる。 我々は、合成データを用いてFISの特性を実証し、他の統計分野との接続を図示する。 この結果から,提案したFISは,機械学習モデルにおける特徴相互作用の性質に関する貴重な洞察を得られることが示唆された。
• 参考スコア（独自算出の注目度）: 17.775145325515993
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Interactions among features are central to understanding the behavior of machine learning models. Recent research has made significant strides in detecting and quantifying feature interactions in single predictive models. However, we argue that the feature interactions extracted from a single pre-specified model may not be trustworthy since: a well-trained predictive model may not preserve the true feature interactions and there exist multiple well-performing predictive models that differ in feature interaction strengths. Thus, we recommend exploring feature interaction strengths in a model class of approximately equally accurate predictive models. In this work, we introduce the feature interaction score (FIS) in the context of a Rashomon set, representing a collection of models that achieve similar accuracy on a given task. We propose a general and practical algorithm to calculate the FIS in the model class. We demonstrate the properties of the FIS via synthetic data and draw connections to other areas of statistics. Additionally, we introduce a Halo plot for visualizing the feature interaction variance in high-dimensional space and a swarm plot for analyzing FIS in a Rashomon set. Experiments with recidivism prediction and image classification illustrate how feature interactions can vary dramatically in importance for similarly accurate predictive models. Our results suggest that the proposed FIS can provide valuable insights into the nature of feature interactions in machine learning models.
• Abstract（参考訳）: 機能間の相互作用は、機械学習モデルの振る舞いを理解する中心である。 近年の研究では、単一予測モデルにおける特徴的相互作用の検出と定量化に大きく貢献している。 十分に訓練された予測モデルは、真の特徴的相互作用を保たないかもしれないし、特徴的相互作用の強さが異なる複数の優れた予測モデルが存在する。 そこで我々は,ほぼ同じ精度の予測モデルを用いたモデルクラスにおける特徴的相互作用強度の探索を推奨する。 そこで本研究では,Rashomon 集合のコンテキストにおける特徴相互作用スコア (FIS) を導入し,与えられたタスクに類似した精度のモデル集合を表現した。 モデルクラスのfisを計算するための汎用的かつ実用的なアルゴリズムを提案する。 合成データを用いてfisの特性を実証し,他の統計分野との接続性を示す。 さらに,高次元空間における特徴相互作用の分散を可視化するHaloプロットと,ラショモン集合におけるFISを解析するためのSwarmプロットを導入する。 回帰予測と画像分類による実験は、同様の精度の予測モデルにおいて、機能相互作用が劇的に重要であることを示す。 提案するfisは,機械学習モデルにおける特徴的相互作用の性質に関する貴重な洞察を与えることができることが示唆された。

関連論文リスト

• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• EAMDrift: An interpretable self retrain model for time series [0.0]
  EAMDrift(EAMDrift)は、複数の個人予測器から予測を合成し、性能指標に従って予測を重み付けする新しい手法である。 EAMDriftはデータのアウト・オブ・ディストリビューションパターンに自動的に適応し、各瞬間に使用する最も適切なモデルを特定するように設計されている。 本研究は,EAMDriftが個々のベースラインモデルより20%優れ,非解釈可能なアンサンブルモデルに匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:25:26Z)
• Asymmetric feature interaction for interpreting model predictions [13.934784414106087]
  自然言語処理では、ディープニューラルネットワーク(DNN)はコンテキスト間の複雑な相互作用をモデル化することができる。 本研究では,非対称な高次特徴相互作用の探索を目的とした非対称な特徴相互作用帰属モデルを提案する。 2つの感情分類データセットによる実験結果から,我々のモデルが最先端の特徴的相互作用帰属法に対して優位であることが確認された。
  論文  参考訳（メタデータ） (2023-05-12T03:31:24Z)
• You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction [52.442129609979794]
  軌道予測のための最近の深層学習手法は有望な性能を示す。 そのようなブラックボックスモデルが実際にどのモデルを予測するために使うのかは、まだ不明である。 本稿では,モデル性能に対する異なるキューの貢献度を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T14:24:15Z)
• Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates [26.527311287924995]
  インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。 制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-10-07T06:59:46Z)
• Triplot: model agnostic measures and visualisations for variable importance in predictive models that take into account the hierarchical correlation structure [3.0036519884678894]
  変数間の相関に関する情報を利用してモデル解析を支援する新しい手法を提案する。 ユーザが提案した変数群(アスペクト)と、自動的に決定される変数群(アスペクト)を解析する方法を紹介します。 また,可変グルーピングの階層構造を利用して高情報密度モデル可視化を行うtriplotという新しいタイプのモデル可視化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T21:29:03Z)
• Gaussian Function On Response Surface Estimation [12.35564140065216]
  メタモデリング手法によるブラックボックス機械学習モデルの解釈(機能とサンプル)のための新しいフレームワークを提案する。 メタモデルは、興味のある領域のデータサンプルでコンピュータ実験を実行することによって、訓練された複雑なモデルによって生成されたデータから推定することができる。
  論文  参考訳（メタデータ） (2021-01-04T04:47:00Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Causal Discovery in Physical Systems from Videos [123.79211190669821]
  因果発見は人間の認知の中心にある。 本研究では,ビデオの因果発見の課題を,地層構造を監督せずにエンドツーエンドで検討する。
  論文  参考訳（メタデータ） (2020-07-01T17:29:57Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。