論文の概要: Mixture of Linear Models Co-supervised by Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2108.04035v1
- Date: Thu, 5 Aug 2021 02:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:46:05.389100
- Title: Mixture of Linear Models Co-supervised by Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークによる線形モデルの混合
- Authors: Beomseok Seo, Lin Lin, and Jia Li
- Abstract要約: 本稿では,比較的単純な説明可能なモデルとディープニューラルネットワーク(DNN)モデルとのギャップを埋めるためのアプローチを提案する。
私たちの主なアイデアは、DNNからのガイダンスでトレーニングされた差別モデルの組み合わせです。
- 参考スコア（独自算出の注目度）: 13.778723108382234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network (DNN) models have achieved phenomenal success for
applications in many domains, ranging from academic research in science and
engineering to industry and business. The modeling power of DNN is believed to
have come from the complexity and over-parameterization of the model, which on
the other hand has been criticized for the lack of interpretation. Although
certainly not true for every application, in some applications, especially in
economics, social science, healthcare industry, and administrative decision
making, scientists or practitioners are resistant to use predictions made by a
black-box system for multiple reasons. One reason is that a major purpose of a
study can be to make discoveries based upon the prediction function, e.g., to
reveal the relationships between measurements. Another reason can be that the
training dataset is not large enough to make researchers feel completely sure
about a purely data-driven result. Being able to examine and interpret the
prediction function will enable researchers to connect the result with existing
knowledge or gain insights about new directions to explore. Although classic
statistical models are much more explainable, their accuracy often falls
considerably below DNN. In this paper, we propose an approach to fill the gap
between relatively simple explainable models and DNN such that we can more
flexibly tune the trade-off between interpretability and accuracy. Our main
idea is a mixture of discriminative models that is trained with the guidance
from a DNN. Although mixtures of discriminative models have been studied
before, our way of generating the mixture is quite different.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)モデルは、科学と工学の学術研究から産業とビジネスまで、多くの分野のアプリケーションで驚くべき成功を収めています。
DNNのモデリング能力は、モデルの複雑さと過度パラメータ化に由来すると考えられているが、一方で、解釈の欠如が批判されている。
もちろん全ての応用には当てはまらないが、経済学、社会科学、医療産業、行政上の意思決定など、いくつかの応用において、科学者や実践者は複数の理由でブラックボックスシステムによる予測の使用に抵抗している。
一つの理由は、研究の主な目的は、例えば、測定間の関係を明らかにするために、予測関数に基づく発見を行うことである。
もう1つの理由は、トレーニングデータセットが、研究者が純粋にデータ駆動の結果について完全に確信できるほど大きくないからだ。
予測関数を検証して解釈することで、研究者は結果を既存の知識と結びつけたり、新たな方向性に関する洞察を得ることができるようになる。
古典的な統計モデルはより説明しやすいが、その精度はDNNよりかなり低い。
本稿では,比較的単純な説明可能なモデルとdnnとのギャップを埋める手法を提案し,解釈可能性と精度のトレードオフをより柔軟に調整する。
私たちの主なアイデアは、DNNからのガイダンスでトレーニングされた差別モデルの組み合わせです。
識別モデルの混合物は以前にも研究されてきたが、この混合物の生成方法は全く異なる。
関連論文リスト
- Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。
しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。
本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2024-03-11T21:54:52Z) - Reliability and Interpretability in Science and Deep Learning [0.0]
この記事では、従来の科学的モデルとDeep Neural Network(DNN)モデルの比較に焦点を当てる。
DNNモデルの複雑さは、その信頼性と長期的進歩の予測を妨げていると論じている。
また、解釈可能性が、統計分析だけでは理解できないあらゆるモデルの信頼性を評価するための前提条件であることも明らかにした。
論文 参考訳（メタデータ） (2024-01-14T20:14:07Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Neural Additive Models for Location Scale and Shape: A Framework for
Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。
この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。
この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
論文 参考訳（メタデータ） (2023-01-27T17:06:13Z) - Characterizing and Understanding the Behavior of Quantized Models for
Reliable Deployment [32.01355605506855]
量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。
診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。
我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
論文 参考訳（メタデータ） (2022-04-08T11:19:16Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Modeling the EdNet Dataset with Logistic Regression [0.0]
私たちは、教育データマイニングの観点から競争の経験を説明します。
我々は,kaggleシステムにおける基礎的結果と,その改善の可能性について考察した。
論文 参考訳（メタデータ） (2021-05-17T20:30:36Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳（メタデータ） (2020-04-29T01:28:32Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。