論文の概要: Mixture of Linear Models Co-supervised by Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2108.04035v2
• Date: Mon, 07 Oct 2024 04:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-09 13:58:13.365164
• Title: Mixture of Linear Models Co-supervised by Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークによる線形モデルの混合
• Authors: Beomseok Seo, Lin Lin, Jia Li,
• Abstract要約: 本稿では,比較的単純な説明可能なモデルとディープニューラルネットワーク(DNN)モデルとのギャップを埋めるためのアプローチを提案する。 私たちの主なアイデアは、DNNからのガイダンスでトレーニングされた差別モデルの組み合わせです。
• 参考スコア（独自算出の注目度）: 14.831346286039151
• License:
• Abstract: Deep neural network (DNN) models have achieved phenomenal success for applications in many domains, ranging from academic research in science and engineering to industry and business. The modeling power of DNN is believed to have come from the complexity and over-parameterization of the model, which on the other hand has been criticized for the lack of interpretation. Although certainly not true for every application, in some applications, especially in economics, social science, healthcare industry, and administrative decision making, scientists or practitioners are resistant to use predictions made by a black-box system for multiple reasons. One reason is that a major purpose of a study can be to make discoveries based upon the prediction function, e.g., to reveal the relationships between measurements. Another reason can be that the training dataset is not large enough to make researchers feel completely sure about a purely data-driven result. Being able to examine and interpret the prediction function will enable researchers to connect the result with existing knowledge or gain insights about new directions to explore. Although classic statistical models are much more explainable, their accuracy often falls considerably below DNN. In this paper, we propose an approach to fill the gap between relatively simple explainable models and DNN such that we can more flexibly tune the trade-off between interpretability and accuracy. Our main idea is a mixture of discriminative models that is trained with the guidance from a DNN. Although mixtures of discriminative models have been studied before, our way of generating the mixture is quite different.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)モデルは、科学と工学の学術研究から産業とビジネスまで、多くの分野の応用において驚くべき成功を収めてきた。 DNNのモデリング能力は、モデルの複雑さと過度パラメータ化に由来すると考えられているが、一方で、解釈の欠如が批判されている。 あらゆる応用、特に経済学、社会科学、医療産業、行政上の意思決定において、科学者や実践者はブラックボックスシステムによる予測に抵抗する。 一つの理由として、ある研究の大きな目的は、例えば、予測関数に基づいて発見を行い、測定間の関係を明らかにすることである。 もうひとつの理由は、トレーニングデータセットが、純粋にデータ駆動の結果を完全に確信させるのに十分な大きさではないことだ。 予測関数の検証と解釈が可能になったことで、研究者はその結果を既存の知識と結びつけたり、探索すべき新たな方向についての洞察を得ることが可能になる。 古典的な統計モデルはより説明しやすいが、その精度はDNNよりかなり低い。 本稿では,比較的単純な説明可能なモデルとDNNのギャップを埋めて,解釈可能性と精度のトレードオフを柔軟に調整する手法を提案する。 私たちの主なアイデアは、DNNからのガイダンスでトレーニングされた差別モデルの組み合わせです。 識別モデルの混合物はこれまで研究されてきたが、この混合物の生成方法は全く異なる。

関連論文リスト

• Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• Reliability and Interpretability in Science and Deep Learning [0.0]
  この記事では、従来の科学的モデルとDeep Neural Network(DNN)モデルの比較に焦点を当てる。 DNNモデルの複雑さは、その信頼性と長期的進歩の予測を妨げていると論じている。 また、解釈可能性が、統計分析だけでは理解できないあらゆるモデルの信頼性を評価するための前提条件であることも明らかにした。
  論文  参考訳（メタデータ） (2024-01-14T20:14:07Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Modeling the EdNet Dataset with Logistic Regression [0.0]
  私たちは、教育データマイニングの観点から競争の経験を説明します。 我々は,kaggleシステムにおける基礎的結果と,その改善の可能性について考察した。
  論文  参考訳（メタデータ） (2021-05-17T20:30:36Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。