論文の概要: Causality-aware counterfactual confounding adjustment for feature representations learned by deep models

• arxiv url: http://arxiv.org/abs/2004.09466v4
• Date: Fri, 20 Nov 2020 03:25:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 17:53:50.017239
• Title: Causality-aware counterfactual confounding adjustment for feature representations learned by deep models
• Title（参考訳）: 深部モデルで学習した特徴表現に対する因果性を考慮した反事実共起調整
• Authors: Elias Chaibub Neto
• Abstract要約: 因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
• 参考スコア（独自算出の注目度）: 14.554818659491644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Causal modeling has been recognized as a potential solution to many challenging problems in machine learning (ML). Here, we describe how a recently proposed counterfactual approach developed to deconfound linear structural causal models can still be used to deconfound the feature representations learned by deep neural network (DNN) models. The key insight is that by training an accurate DNN using softmax activation at the classification layer, and then adopting the representation learned by the last layer prior to the output layer as our features, we have that, by construction, the learned features will fit well a (multi-class) logistic regression model, and will be linearly associated with the labels. As a consequence, deconfounding approaches based on simple linear models can be used to deconfound the feature representations learned by DNNs. We validate the proposed methodology using colored versions of the MNIST dataset. Our results illustrate how the approach can effectively combat confounding and improve model stability in the context of dataset shifts generated by selection biases.
• Abstract（参考訳）: 因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 本稿では,最近提案されている線形構造因果モデル解法を用いて,ディープニューラルネットワーク(dnn)モデルによって学習された特徴表現を解き明かす手法について述べる。 重要な洞察は、分類層でsoftmaxアクティベーションを使用して正確なdnnをトレーニングし、出力層の前に最終層によって学習された表現を特徴として採用することで、構築により、学習された機能は(複数クラスの)ロジスティック回帰モデルに適し、ラベルと線形に関連付けられる、ということです。 その結果、単純な線形モデルに基づく分解アプローチを用いて、DNNが学習した特徴表現を分解することができる。 MNISTデータセットのカラーバージョンを用いて提案手法を検証する。 提案手法は,選択バイアスによって生じるデータセットシフトの文脈において,モデル安定性を効果的に解決し,改善できることを示す。

関連論文リスト

• Deep learning for model correction of dynamical systems with data scarcity [0.0]
  本稿では,少ない高忠実度データセットのみを用いて,既存の力学系モデルを修正するためのディープラーニングフレームワークを提案する。 我々は、高忠実度データの量が非常に小さく、既存のデータ駆動モデリング手法のほとんどを適用できない場合に焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-23T14:33:11Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Self-interpretable Convolutional Neural Networks for Text Classification [5.55878488884108]
  本論文では,ReLU-DNNに固有の局所線型モデルを用いて,テキスト分類問題に対する畳み込みニューラルネットワークの解釈手法を提案する。 提案手法は,より複雑なCNNモデルに対して,自己解釈可能で,同等の性能を有する擬似モデルを生成する。
  論文  参考訳（メタデータ） (2021-05-18T15:19:59Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。