論文の概要: Explainable Neural Networks with Guarantees: A Sparse Estimation Approach
- arxiv url: http://arxiv.org/abs/2501.02010v2
- Date: Tue, 18 Feb 2025 22:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-20 13:55:56.045727
- Title: Explainable Neural Networks with Guarantees: A Sparse Estimation Approach
- Title（参考訳）: 保証付き説明可能なニューラルネットワーク:スパース推定アプローチ
- Authors: Antoine Ledent, Peng Liu,
- Abstract要約: 本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。
我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。
我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
- 参考スコア（独自算出の注目度）: 11.142723510517778
- License:
- Abstract: Balancing predictive power and interpretability has long been a challenging research area, particularly in powerful yet complex models like neural networks, where nonlinearity obstructs direct interpretation. This paper introduces a novel approach to constructing an explainable neural network that harmonizes predictiveness and explainability. Our model, termed SparXnet, is designed as a linear combination of a sparse set of jointly learned features, each derived from a different trainable function applied to a single 1-dimensional input feature. Leveraging the ability to learn arbitrarily complex relationships, our neural network architecture enables automatic selection of a sparse set of important features, with the final prediction being a linear combination of rescaled versions of these features. We demonstrate the ability to select significant features while maintaining comparable predictive performance and direct interpretability through extensive experiments on synthetic and real-world datasets. We also provide theoretical analysis on the generalization bounds of our framework, which is favorably linear in the number of selected features and only logarithmic in the number of input features. We further lift any dependence of sample complexity on the number of parameters or the architectural details under very mild conditions. Our research paves the way for further research on sparse and explainable neural networks with guarantee.
- Abstract（参考訳）: 予測力と解釈可能性のバランスをとることは、特に非線形性が直接解釈を妨げるニューラルネットワークのような強力で複雑なモデルにおいて、長年、難しい研究領域であった。
本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。
我々のモデルはSparXnetと呼ばれ、単一の1次元の入力特徴に対して異なるトレーニング可能な関数から導出される、共同学習された特徴のスパースセットの線形結合として設計されている。
任意の複雑な関係を学習する能力を活用することで、ニューラルネットワークアーキテクチャは、重要な機能のスパースセットの自動選択を可能にします。
合成および実世界のデータセットに関する広範な実験を通じて、比較可能な予測性能と直接解釈可能性を維持しながら、重要な特徴を選択する能力を示す。
また,提案フレームワークの一般化境界について理論的解析を行い,選択された特徴数に好適に線形であり,入力特徴数にのみ対数的であることを示した。
非常に穏やかな条件下では、パラメータの数やアーキテクチャの詳細へのサンプルの複雑さの依存をさらに軽減します。
我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
関連論文リスト
- A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。
これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
論文 参考訳（メタデータ） (2024-10-24T17:24:34Z) - Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。
我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
論文 参考訳（メタデータ） (2024-07-19T20:50:57Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳（メタデータ） (2023-02-02T05:00:29Z) - Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。
本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文 参考訳（メタデータ） (2022-09-07T20:11:17Z) - An Information-Theoretic Framework for Supervised Learning [22.280001450122175]
後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。
本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。
我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
論文 参考訳（メタデータ） (2022-03-01T05:58:28Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Consistent feature selection for neural networks via Adaptive Group
Lasso [3.42658286826597]
ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
論文 参考訳（メタデータ） (2020-05-30T18:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。