論文の概要: The Contextual Lasso: Sparse Linear Models via Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2302.00878v1
- Date: Thu, 2 Feb 2023 05:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 15:25:15.382751
- Title: The Contextual Lasso: Sparse Linear Models via Deep Neural Networks
- Title（参考訳）: 文脈ラッソ:ディープニューラルネットワークによるスパース線形モデル
- Authors: Ryan Thompson, Amir Dezfouli, Robert Kohn
- Abstract要約: 本研究では,入力特徴を2つのグループに分けた,説明的特徴(説明的特徴)と文脈的特徴(説明的特徴)について検討する。
本稿では,空間パターンと係数が文脈特徴と異なるような疎線形モデルに適合する新しい統計的推定法である文脈ラッソを提案する。
実データと合成データを実験した結果、学習されたモデルは、標準的なディープニューラルネットワークの予測力を犠牲にすることなく、通常のラッソよりもスペーサーであることが示唆された。
- 参考スコア（独自算出の注目度）: 4.881471615020775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse linear models are a gold standard tool for interpretable machine
learning, a field of emerging importance as predictive models permeate
decision-making in many domains. Unfortunately, sparse linear models are far
less flexible as functions of their input features than black-box models like
deep neural networks. With this capability gap in mind, we study a not-uncommon
situation where the input features dichotomize into two groups: explanatory
features, which we wish to explain the model's predictions, and contextual
features, which we wish to determine the model's explanations. This dichotomy
leads us to propose the contextual lasso, a new statistical estimator that fits
a sparse linear model whose sparsity pattern and coefficients can vary with the
contextual features. The fitting process involves learning a nonparametric map,
realized via a deep neural network, from contextual feature vector to sparse
coefficient vector. To attain sparse coefficients, we train the network with a
novel lasso regularizer in the form of a projection layer that maps the
network's output onto the space of $\ell_1$-constrained linear models.
Extensive experiments on real and synthetic data suggest that the learned
models, which remain highly transparent, can be sparser than the regular lasso
without sacrificing the predictive power of a standard deep neural network.
- Abstract（参考訳）: スパース線形モデルは、多くの領域で意思決定に浸透する予測モデルとして重要になる分野である、解釈可能な機械学習のための金の標準ツールである。
残念ながら、スパース線形モデルは、ディープニューラルネットワークのようなブラックボックスモデルよりも、入力機能の関数としてはるかに柔軟性が低い。
この能力ギャップを念頭に置いて、入力特徴を2つのグループに分けた、説明的特徴(説明的特徴)と文脈的特徴(文脈的特徴)をモデル化し、モデルの説明を判断する。
この二分法により,スパース性パターンと係数が文脈的特徴によって異なるスパース線形モデルに適合する新しい統計推定器であるcontextual lassoを提案する。
適合するプロセスは、文脈的特徴ベクトルからスパース係数ベクトルまで、ディープニューラルネットワークによって実現される非パラメトリックマップを学習する。
スパース係数を得るために、ネットワークの出力を$\ell_1$-constrained linear modelの空間にマッピングするプロジェクション層の形で、新しいラッソ正規化器を用いてネットワークを訓練する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明でありながら、標準のディープニューラルネットワークの予測力を犠牲にすることなく、通常のラッソよりもスパーザーであることを示唆している。
関連論文リスト
- Instance-wise Linearization of Neural Network for Model Interpretation [13.583425552511704]
この課題は、ニューラルネットワークの非線形動作に潜むことができる。
ニューラルネットワークモデルでは、非線形な振る舞いはモデルの非線形なアクティベーションユニットによって引き起こされることが多い。
本稿では,ニューラルネットワーク予測のフォワード計算過程を再構成するインスタンスワイズ線形化手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T02:07:39Z) - Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization [15.517787031620864]
LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。
LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。
我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
論文 参考訳（メタデータ） (2023-05-07T13:05:09Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - It's FLAN time! Summing feature-wise latent representations for
interpretability [0.0]
FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。
FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。
これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
論文 参考訳（メタデータ） (2021-06-18T12:19:33Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。