論文の概要: What makes an Ensemble (Un) Interpretable?

• arxiv url: http://arxiv.org/abs/2506.08216v1
• Date: Mon, 09 Jun 2025 20:38:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.672457
• Title: What makes an Ensemble (Un) Interpretable?
• Title（参考訳）: アンサンブルとは何か?
• Authors: Shahaf Bassan, Guy Amir, Meirav Zehavi, Guy Katz,
• Abstract要約: エンサンブルモデルはMLコミュニティにおいて、限定的な解釈可能性によって広く認識されている。 この民間伝承の認識にもかかわらず、アンサンブルを解釈可能なものにするための厳密な数学的理解が欠けている。
• 参考スコア（独自算出の注目度）: 6.760285368641258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble models are widely recognized in the ML community for their limited interpretability. For instance, while a single decision tree is considered interpretable, ensembles of trees (e.g., boosted trees) are often treated as black-boxes. Despite this folklore recognition, there remains a lack of rigorous mathematical understanding of what particularly makes an ensemble (un)-interpretable, including how fundamental factors like the (1) *number*, (2) *size*, and (3) *type* of base models influence its interpretability. In this work, we seek to bridge this gap by applying concepts from computational complexity theory to study the challenges of generating explanations for various ensemble configurations. Our analysis uncovers nuanced complexity patterns influenced by various factors. For example, we demonstrate that under standard complexity assumptions like P$\neq$NP, interpreting ensembles remains intractable even when base models are of constant size. Surprisingly, the complexity changes drastically with the number of base models: small ensembles of decision trees are efficiently interpretable, whereas interpreting ensembles with even a constant number of linear models remains intractable. We believe that our findings provide a more robust foundation for understanding the interpretability of ensembles, emphasizing the benefits of examining it through a computational complexity lens.
• Abstract（参考訳）: エンサンブルモデルはMLコミュニティにおいて、限定的な解釈可能性によって広く認識されている。 例えば、一つの決定木を解釈可能であるとみなす一方で、木(例えば、強化木)のアンサンブルはブラックボックスとして扱われることが多い。 このような民間伝承の認識にもかかわらず、(1) *number*, (2) *size*, (3) *type* のような基本的な要素がその解釈可能性にどのように影響するかを含む、特にアンサンブル(un)が解釈可能であるかという厳密な数学的理解がまだ残っていない。 本研究では,計算複雑性理論の概念を応用して,様々なアンサンブル構成を説明する上での課題を解明し,このギャップを埋めることを目的とする。 分析の結果, 様々な要因の影響を受け, 複雑なパターンが明らかになった。 例えば、P$\neq$NPのような標準的な複雑性仮定の下では、基底モデルが一定サイズである場合でも、アンサンブルの解釈は難解である。 決定木の小さなアンサンブルは効率的に解釈可能であるのに対して、一定の数の線形モデルでも解釈可能なアンサンブルは難解である。 我々は,アンサンブルの解釈可能性を理解するための,より堅牢な基盤を提供するとともに,計算複雑性レンズによる検証のメリットを強調している。

関連論文リスト

• Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation [0.9558392439655016]
  機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。 近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
  論文  参考訳（メタデータ） (2024-08-07T17:20:52Z)
• Local vs. Global Interpretability: A Computational Complexity Perspective [0.9558392439655016]
  計算複雑性理論を用いて、MLモデルの局所的および大域的視点を評価する。 これらのモデルの局所的およびグローバル的解釈可能性に関する知見を提供する。 我々は,計算複雑性レンズによる説明可能性の検証が,MLモデル固有の解釈可能性をより厳密に把握する上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T06:23:49Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• On the Complexity of Bayesian Generalization [141.21610899086392]
  我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。 問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
  論文  参考訳（メタデータ） (2022-11-20T17:21:37Z)
• Partial Order in Chaos: Consensus on Feature Attributions in the Rashomon Set [50.67431815647126]
  ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。 この手法により局所的・言語的特徴の半順序が生じることを示す。 これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
  論文  参考訳（メタデータ） (2021-10-26T02:53:14Z)
• Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
  合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。 主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。 2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2021-07-14T07:23:46Z)
• Model Interpretability through the Lens of Computational Complexity [1.6631602844999724]
  民間の解釈可能性主張が計算複雑性理論に相関しているかどうかを考察する。 線形モデルとツリーモデルの両方がニューラルネットワークよりも厳密に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-23T09:50:40Z)
• Robust Estimation of Tree Structured Ising Models [20.224160348675422]
  我々は、異なる確率変数の符号が、おそらく不等で未知の確率で独立に反転するときに、イジングモデルを学習するタスクを考える。 しかし, この不同一性は, 葉ノードが近傍と位置を交換して形成する小さな同値類に限られる。
  論文  参考訳（メタデータ） (2020-06-10T01:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。