論文の概要: Interpretability with full complexity by constraining feature information

• arxiv url: http://arxiv.org/abs/2211.17264v1
• Date: Wed, 30 Nov 2022 18:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:43:43.033551
• Title: Interpretability with full complexity by constraining feature information
• Title（参考訳）: 特徴情報の制約による完全複雑性の解釈可能性
• Authors: Kieran A. Murphy, Dani S. Bassett
• Abstract要約: 解釈可能性(Interpretability)は、機械学習の課題だ。 我々は、新しい角度から解釈可能性にアプローチする:モデルの複雑さを制限することなく、特徴に関する情報を制約する。 近似モデルのスペクトルから洞察を抽出する枠組みを開発する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability is a pressing issue for machine learning. Common approaches to interpretable machine learning constrain interactions between features of the input, rendering the effects of those features on a model's output comprehensible but at the expense of model complexity. We approach interpretability from a new angle: constrain the information about the features without restricting the complexity of the model. Borrowing from information theory, we use the Distributed Information Bottleneck to find optimal compressions of each feature that maximally preserve information about the output. The learned information allocation, by feature and by feature value, provides rich opportunities for interpretation, particularly in problems with many features and complex feature interactions. The central object of analysis is not a single trained model, but rather a spectrum of models serving as approximations that leverage variable amounts of information about the inputs. Information is allocated to features by their relevance to the output, thereby solving the problem of feature selection by constructing a learned continuum of feature inclusion-to-exclusion. The optimal compression of each feature -- at every stage of approximation -- allows fine-grained inspection of the distinctions among feature values that are most impactful for prediction. We develop a framework for extracting insight from the spectrum of approximate models and demonstrate its utility on a range of tabular datasets.
• Abstract（参考訳）: 解釈性は機械学習にとって差し迫った問題である。 解釈可能な機械学習への一般的なアプローチは、入力の特徴間の相互作用を制約し、それらの特徴がモデルの出力に反映されるが、モデルの複雑さを犠牲にしている。 我々は新しい角度から解釈可能性にアプローチする:モデルの複雑さを制限することなく、特徴に関する情報を制約する。 情報理論を借用し、分散情報ボトルネックを用いて、出力に関する情報を最大に保存する各機能の最適な圧縮を見つける。 学習された情報アロケーションは、特に多くの機能や複雑な機能相互作用の問題において、特徴と特徴値によって、解釈の豊富な機会を提供する。 分析の中心的な対象は、単一の訓練されたモデルではなく、入力に関する可変量の情報を活用する近似として機能するモデルのスペクトルである。 情報は、その出力との関連によって特徴に割り当てられ、特徴包含から排他への学習された連続体を構築して特徴選択の問題を解決する。 近似のどの段階でも、各機能の最適な圧縮は、予測に最も影響を及ぼす特徴値の区別をきめ細やかな検査を可能にします。 本研究では,近似モデルのスペクトルから洞察を抽出するフレームワークを開発し,その有効性を示す。

関連論文リスト

• A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
  本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。 具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。 機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
  論文  参考訳（メタデータ） (2024-07-04T15:35:42Z)
• Explaining Predictive Uncertainty with Information Theoretic Shapley Values [6.49838460559032]
  我々は、様々な種類の予測の不確実性を説明するために、人気のShapley値フレームワークを適用します。 我々は,実データおよびシミュレーションデータに対して,様々な実験でよく動作する効率的なアルゴリズムを実装した。
  論文  参考訳（メタデータ） (2023-06-09T07:43:46Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Balancing Explainability-Accuracy of Complex Models [8.402048778245165]
  我々は,コリレーションの影響に基づき,複雑なモデルに対する新しいアプローチを提案する。 独立機能と依存機能の両方のシナリオに対するアプローチを提案する。 従属特徴に対する提案手法の複雑さの上限を提供する。
  論文  参考訳（メタデータ） (2023-05-23T14:20:38Z)
• Relational Local Explanations [11.679389861042]
  我々は,入力変数間の関係解析に基づく,新しいモデルに依存しない,置換に基づく特徴帰属アルゴリズムを開発した。 機械学習のモデル決定とデータについて、より広範な洞察を得ることができます。
  論文  参考訳（メタデータ） (2022-12-23T14:46:23Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• A Functional Information Perspective on Model Interpretation [30.101107406343665]
  この研究は、モデル解釈可能性の理論的な枠組みを示唆している。 機能的フィッシャー情報によって機能的エントロピーを束縛する対数ソボレフの不等式に依存している。 提案手法は,様々なデータ信号に対する既存の解釈可能性サンプリング手法を超越していることを示す。
  論文  参考訳（メタデータ） (2022-06-12T09:24:45Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。