論文の概要: Parameter Averaging for Robust Explainability

• arxiv url: http://arxiv.org/abs/2208.03249v1
• Date: Fri, 5 Aug 2022 16:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:18:03.729367
• Title: Parameter Averaging for Robust Explainability
• Title（参考訳）: ロバストな説明可能性のためのパラメータ平均化
• Authors: Talip Ucar, Ehsan Hajiramezanali
• Abstract要約: 本稿では,XTab と呼ばれる表層データ設定におけるロバストな説明可能性を考慮したパラメータ平均化手法を提案する。 提案手法は,様々な実データおよび合成データに対して広範な実験を行い,提案手法が特徴選択に有効であること,および準最適モデルの初期化に敏感でない大域的特徴量を得ることができることを実証した。
• 参考スコア（独自算出の注目度）: 5.032906900691182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Networks are known to be sensitive to initialisation. The explanation methods that rely on neural networks are not robust since they can have variations in their explanations when the model is initialized and trained with different random seeds. The sensitivity to model initialisation is not desirable in many safety critical applications such as disease diagnosis in healthcare, in which the explainability might have a significant impact in helping decision making. In this work, we introduce a novel method based on parameter averaging for robust explainability in tabular data setting, referred as XTab. We first initialize and train multiple instances of a shallow network (referred as local masks) with different random seeds for a downstream task. We then obtain a global mask model by "averaging the parameters" of local masks and show that the global model uses the majority rule to rank features based on their relative importance across all local models. We conduct extensive experiments on a variety of real and synthetic datasets, demonstrating that the proposed method can be used for feature selection as well as to obtain the global feature importance that are not sensitive to sub-optimal model initialisation.
• Abstract（参考訳）: ニューラルネットワークは初期化に敏感であることが知られている。 ニューラルネットワークに依存する説明方法は、モデルが初期化され、異なるランダムシードで訓練されたとき、説明にバリエーションがあるため、堅牢ではない。 モデル初期化に対する感受性は、医療における疾患診断のような多くの安全上重要な応用において望ましくない。 本稿では,XTab と呼ばれる表型データ設定におけるロバストな説明可能性を考慮したパラメータ平均化手法を提案する。 まず、下流タスクのために異なるランダムなシードを用いて、浅いネットワーク(ローカルマスクとして参照)の複数のインスタンスを初期化し、訓練する。 次に,局所マスクのパラメータを「平均化」することでグローバルマスクモデルを得るとともに,グローバルモデルが全局所マスクの相対的重要性に基づいて特徴をランク付けするために多数項規則を用いていることを示す。 本研究では,様々な実データと合成データについて広範囲な実験を行い,提案手法が特徴選択だけでなく,サブ最適モデルの初期化に敏感でないグローバル特徴量も得ることを実証した。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Classification of High-dimensional Time Series in Spectral Domain using Explainable Features [8.656881800897661]
  本稿では,高次元定常時系列を分類するためのモデルに基づくアプローチを提案する。 我々のアプローチはモデルパラメータの解釈可能性を強調し、神経科学のような分野に特に適している。 我々の手法の新規性は、モデルパラメータの解釈可能性にあり、神経科学における重要なニーズに対処する。
  論文  参考訳（メタデータ） (2024-08-15T19:10:12Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
  我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。 対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:52:58Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
  予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
  論文  参考訳（メタデータ） (2022-07-04T07:06:45Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。