Fugu-MT 論文翻訳(概要): Joint learning of interpretation and distillation

論文の概要: Joint learning of interpretation and distillation

arxiv url: http://arxiv.org/abs/2005.11638v1
Date: Sun, 24 May 2020 02:01:22 GMT
ステータス: 処理完了
システム内更新日: 2022-11-29 13:25:21.416017
Title: Joint learning of interpretation and distillation
Title（参考訳）: 解釈と蒸留の連成学習
Authors: Jinchao Huang, Guofu Li, Zhicong Yan, Fucai Luo, Shenghong Li
Abstract要約: 本稿では,GBDT2NNの予測をそれぞれ説明するための新しいアプローチに関する実証的研究を行う。いくつかのベンチマーク実験により、提案手法は説明と予測の両方でより良い性能が得られることが示された。
参考スコア（独自算出の注目度）: 7.412850488684037
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The extra trust brought by the model interpretation has made it an indispensable part of machine learning systems. But to explain a distilled model's prediction, one may either work with the student model itself, or turn to its teacher model. This leads to a more fundamental question: if a distilled model should give a similar prediction for a similar reason as its teacher model on the same input? This question becomes even more crucial when the two models have dramatically different structure, taking GBDT2NN for example. This paper conducts an empirical study on the new approach to explaining each prediction of GBDT2NN, and how imitating the explanation can further improve the distillation process as an auxiliary learning task. Experiments on several benchmarks show that the proposed methods achieve better performance on both explanations and predictions.
Abstract（参考訳）: モデル解釈によってもたらされる余分な信頼は、機械学習システムに欠かせない部分となった。しかし、蒸留モデルの予測を説明するには、生徒モデル自身で作業するか、教師モデルに切り替えるかのどちらかである。蒸留されたモデルが、同じ入力でその教師モデルと同じような理由について同様の予測をすべきかどうか? この問題は、2つのモデルが劇的に異なる構造を持つときにさらに重要になる。本稿では,GBDT2NNの予測をそれぞれ説明するための新しい手法に関する実証的研究を行い,その説明を模倣することで,蒸留プロセスをさらに改善することができることを示す。複数のベンチマークを用いた実験により,提案手法が説明と予測の両方において優れた性能を得ることが示された。

関連論文リスト

Explainability for Machine Learning Models: From Data Adaptability to User Perception [0.8702432681310401]
この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
論文参考訳（メタデータ） (2024-02-16T18:44:37Z)
Self-Supervised Monocular Depth Estimation with Self-Reference Distillation and Disparity Offset Refinement [15.012694052674899]
自己教師付き単分子深度推定を改善するための2つの新しいアイデアを提案する。我々は,教師が訓練の時期に合わせて更新したパラメータ最適化モデルを用いて,さらなる指導を行う。我々は,高次特徴量と低次特徴量とのコンテキスト整合性を利用して,マルチスケールの相違オフセットを得る。
論文参考訳（メタデータ） (2023-02-20T06:28:52Z)
HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
本稿では,タスク非依存蒸留に焦点をあてる。これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
論文参考訳（メタデータ） (2023-02-19T17:37:24Z)
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文参考訳（メタデータ） (2023-01-27T22:04:37Z)
Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文参考訳（メタデータ） (2021-12-17T18:29:56Z)
Learning Interpretation with Explainable Knowledge Distillation [28.00216413365036]
近年、知識蒸留(KD)はモデル圧縮と加速の鍵となる解として検討されている。そこで本研究では,教師モデルから学生モデルに説明文の情報を伝達する,XDistillationと呼ばれる新しい知識蒸留モデルを提案する。実験の結果,XDistillation で訓練したモデルは,予測精度および教師モデルへの忠実度の観点から,従来の KD 法で訓練したモデルよりも優れていた。
論文参考訳（メタデータ） (2021-11-12T21:18:06Z)
Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文参考訳（メタデータ） (2021-09-07T03:13:06Z)
Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文参考訳（メタデータ） (2021-03-18T12:57:34Z)
Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。モデル予測の提示により,人間の精度が向上することが判明した。しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
論文参考訳（メタデータ） (2020-07-23T20:39:40Z)
In Pursuit of Interpretable, Fair and Accurate Machine Learning for Criminal Recidivism Prediction [19.346391120556884]
本研究では、二項予測よりも確率を出力する解釈可能なモデルを訓練し、定量的フェアネス定義を用いてモデルを評価する。フロリダ州とケンタッキー州の2つの異なる犯罪再犯データセット上で,ブラックボックスと解釈可能なMLモデルを生成した。いくつかの解釈可能なMLモデルは、ブラックボックスMLモデルと同様に復調を予測でき、CompASやアーノルドPSAよりも正確である。
論文参考訳（メタデータ） (2020-05-08T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。