論文の概要: Analyze Additive and Interaction Effects via Collaborative Trees
- arxiv url: http://arxiv.org/abs/2405.11477v1
- Date: Sun, 19 May 2024 08:03:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 17:28:11.669010
- Title: Analyze Additive and Interaction Effects via Collaborative Trees
- Title（参考訳）: 協調木による添加効果と相互作用効果の解析
- Authors: Chien-Ming Chi,
- Abstract要約: 本稿では,回帰予測のための新しい木モデルであるCollaborative Treesと,そのバッグングバージョンを提案する。
提案した木モデルからの平均不純物減少量を分解して,応答変数に対する特徴の加法効果と相互作用効果を解析する。
木モデル正則化による木のアプローチの総和に基づいて構築された協調木は,一致した追尾に類似した特徴を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Collaborative Trees, a novel tree model designed for regression prediction, along with its bagging version, which aims to analyze complex statistical associations between features and uncover potential patterns inherent in the data. We decompose the mean decrease in impurity from the proposed tree model to analyze the additive and interaction effects of features on the response variable. Additionally, we introduce network diagrams to visually depict how each feature contributes additively to the response and how pairs of features contribute interaction effects. Through a detailed demonstration using an embryo growth dataset, we illustrate how the new statistical tools aid data analysis, both visually and numerically. Moreover, we delve into critical aspects of tree modeling, such as prediction performance, inference stability, and bias in feature importance measures, leveraging real datasets and simulation experiments for comprehensive discussions. On the theory side, we show that Collaborative Trees, built upon a ``sum of trees'' approach with our own innovative tree model regularization, exhibit characteristics akin to matching pursuit, under the assumption of high-dimensional independent binary input features (or one-hot feature groups). This newfound link sheds light on the superior capability of our tree model in estimating additive effects of features, a crucial factor for accurate interaction effect estimation.
- Abstract（参考訳）: 本稿では,回帰予測を目的とした新しい木モデルであるCollaborative Treesと,そのバッグバージョンについて述べる。
提案した木モデルからの平均不純物減少量を分解して,応答変数に対する特徴の加法効果と相互作用効果を解析する。
さらに、各機能がどのように応答に付加的に寄与するか、また2つの機能の組み合わせが相互作用効果にどのように寄与するかを視覚的に表現するために、ネットワークダイアグラムを導入します。
胚成長データセットを用いた詳細な実演を通して、新しい統計ツールが、視覚的にも数値的にも、どのようにデータ分析に役立つかを説明する。
さらに、予測性能、推論安定性、特徴重要度尺度の偏りなどのツリーモデリングの重要な側面を掘り下げ、実際のデータセットとシミュレーション実験を総合的な議論に活用する。
理論面では、高次元独立二分数入力特徴(または1ホット特徴群)を前提として、我々の革新的ツリーモデル正規化による'sum of Tree'アプローチに基づいて構築された協調木は、マッチング追従に類似した特性を示す。
この新発見リンクは, 正確な相互作用効果推定のための重要な要素である, 特徴の加法効果を推定する上で, 木モデルの優れた能力に光を当てる。
関連論文リスト
- Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping [0.24578723416255746]
特徴の選択は、モデルの解釈可能性を高める上で重要な役割を担います。
決定木を集約することで得られる精度は、解釈可能性の犠牲となる。
この研究では、教師なしランダムな森林から特徴グラフを構築するための新しい手法を紹介した。
論文 参考訳（メタデータ） (2024-04-27T12:47:37Z) - Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers [68.76846801719095]
統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
論文 参考訳（メタデータ） (2024-02-02T15:36:43Z) - Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions
for Tree Ensembles [6.664930499708017]
シェープリー値(Shapley value, SV)は、予測の付加的特徴属性を定量化するための説明可能な人工知能(XAI)研究における概念である。
TreeSHAP-IQは木モデル予測のための任意の順序加法シャプリー相互作用を効率的に計算する手法である。
論文 参考訳（メタデータ） (2024-01-22T16:08:41Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Asymmetric feature interaction for interpreting model predictions [13.934784414106087]
自然言語処理では、ディープニューラルネットワーク(DNN)はコンテキスト間の複雑な相互作用をモデル化することができる。
本研究では,非対称な高次特徴相互作用の探索を目的とした非対称な特徴相互作用帰属モデルを提案する。
2つの感情分類データセットによる実験結果から,我々のモデルが最先端の特徴的相互作用帰属法に対して優位であることが確認された。
論文 参考訳（メタデータ） (2023-05-12T03:31:24Z) - Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。
提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
論文 参考訳（メタデータ） (2023-02-15T10:43:31Z) - CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。
このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。
ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T18:31:50Z) - Energy Trees: Regression and Classification With Structured and
Mixed-Type Covariates [0.0]
エネルギー木はエネルギー統計を利用して条件推論木の能力を拡張する。
モデルの競争性能を,多変量選択と過度適合に対する頑健性の観点から示す。
また、人間の生物学的データを含む2つの経験的分析を通して、モデルの予測能力を評価する。
論文 参考訳（メタデータ） (2022-07-10T10:41:51Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Causal Discovery in Physical Systems from Videos [123.79211190669821]
因果発見は人間の認知の中心にある。
本研究では,ビデオの因果発見の課題を,地層構造を監督せずにエンドツーエンドで検討する。
論文 参考訳（メタデータ） (2020-07-01T17:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。