論文の概要: Minimal Sufficient Representations for Self-interpretable Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2603.24041v1
• Date: Wed, 25 Mar 2026 07:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.193965
• Title: Minimal Sufficient Representations for Self-interpretable Deep Neural Networks
• Title（参考訳）: 自己解釈型ディープニューラルネットワークのための最小表現法
• Authors: Zhiyao Tan, Liu Li, Huazhen Lin,
• Abstract要約: DeepInは自己解釈可能なニューラルネットワークフレームワークで、標準DNNの完全な表現能力を維持するのに必要な最小限の表現を適応的に識別し、学習する。 DeepInは、最小表現次元を正しく識別し、関連する変数を選択し、予測に必要な最小限のネットワークアーキテクチャを復元できることを示す。 バイオメディカルとビジョンのベンチマーク全体で、DeepInは予測精度と解釈可能性の両方を改善し、実際のデータセットでエラーを最大30%削減する。
• 参考スコア（独自算出の注目度）: 2.333384279860279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) achieve remarkable predictive performance but remain difficult to interpret, largely due to overparameterization that obscures the minimal structure required for interpretation. Here we introduce DeepIn, a self-interpretable neural network framework that adaptively identifies and learns the minimal representation necessary for preserving the full expressive capacity of standard DNNs. We show that DeepIn can correctly identify the minimal representation dimension, select relevant variables, and recover the minimal sufficient network architecture for prediction. The resulting estimator achieves optimal non-asymptotic error rates that adapt to the learned minimal dimension, demonstrating that recovering minimal sufficient structure fundamentally improves generalization error. Building on these guarantees, we further develop hypothesis testing procedures for both selected variables and learned representations, bridging deep representation learning with formal statistical inference. Across biomedical and vision benchmarks, DeepIn improves both predictive accuracy and interpretability, reducing error by up to 30% on real-world datasets while automatically uncovering human-interpretable discriminative patterns. Our results suggest that interpretability and statistical rigor can be embedded directly into deep architectures without sacrificing performance.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、目覚ましい予測性能を達成するが、解釈に必要最小限の構造を曖昧にする過パラメータ化のため、解釈が難しいままである。 本稿では、標準DNNの完全な表現能力を維持するのに必要な最小限の表現を適応的に識別し、学習する自己解釈型ニューラルネットワークフレームワークであるDeepInを紹介する。 DeepInは、最小表現次元を正しく識別し、関連する変数を選択し、予測に必要な最小限のネットワークアーキテクチャを復元できることを示す。 得られた推定器は、学習された最小次元に適応する最適な非漸近誤差率を達成し、最小限の構造の回復が一般化誤差を根本的に改善することを示した。 これらの保証に基づいて、選択された変数と学習された表現の両方に対する仮説テスト手順をさらに発展させ、形式的な統計的推論で深層表現学習をブリッジする。 バイオメディカルとビジョンのベンチマーク全体で、DeepInは予測精度と解釈可能性の両方を改善し、実際のデータセットでエラーを最大30%削減し、人間の解釈可能な識別パターンを自動的に発見する。 この結果から,解釈可能性や統計的厳密性は,性能を犠牲にすることなく直接,深層建築に組み込むことが可能であることが示唆された。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Deep Nonparametric Estimation of Operators between Infinite Dimensional Spaces [41.55700086945413]
  本稿では、ディープニューラルネットワークを用いたリプシッツ作用素の非パラメトリック推定について検討する。 対象作用素が低次元構造を示すという仮定の下では、トレーニングサンプルサイズが大きくなるにつれて誤差は減衰する。 この結果から,演算子推定における低次元データ構造の利用による高速化が期待できる。
  論文  参考訳（メタデータ） (2022-01-01T16:33:44Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。