論文の概要: Learning to Faithfully Rationalize by Construction

• arxiv url: http://arxiv.org/abs/2005.00115v1
• Date: Thu, 30 Apr 2020 21:45:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 02:46:02.410229
• Title: Learning to Faithfully Rationalize by Construction
• Title（参考訳）: 建設による合理的な合理化の学習
• Authors: Sarthak Jain, Sarah Wiegreffe, Yuval Pinter, Byron C. Wallace
• Abstract要約: 多くの設定において、モデルが特別な予測をした理由を理解することが重要である。 提案手法は, 構築による忠実な説明を提供する, このアプローチの簡易な変種を提案する。 自動評価と手動評価の両方において、この単純なフレームワークの変種はエンドツーエンドのアプローチよりも優れていることが分かる。
• 参考スコア（独自算出の注目度）: 36.572594249534866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many settings it is important for one to be able to understand why a model made a particular prediction. In NLP this often entails extracting snippets of an input text `responsible for' corresponding model output; when such a snippet comprises tokens that indeed informed the model's prediction, it is a faithful explanation. In some settings, faithfulness may be critical to ensure transparency. Lei et al. (2016) proposed a model to produce faithful rationales for neural text classification by defining independent snippet extraction and prediction modules. However, the discrete selection over input tokens performed by this method complicates training, leading to high variance and requiring careful hyperparameter tuning. We propose a simpler variant of this approach that provides faithful explanations by construction. In our scheme, named FRESH, arbitrary feature importance scores (e.g., gradients from a trained model) are used to induce binary labels over token inputs, which an extractor can be trained to predict. An independent classifier module is then trained exclusively on snippets provided by the extractor; these snippets thus constitute faithful explanations, even if the classifier is arbitrarily complex. In both automatic and manual evaluations we find that variants of this simple framework yield predictive performance superior to `end-to-end' approaches, while being more general and easier to train. Code is available at https://github.com/successar/FRESH
• Abstract（参考訳）: 多くの設定において、モデルが特別な予測をした理由を理解することが重要である。 NLPでは、しばしば入力テキストのスニペットが対応するモデル出力に応答する;そのようなスニペットが実際にモデルの予測を知らせるトークンを含む場合、それは忠実な説明である。 ある設定では、透明性を確保するために忠実性が重要になるかもしれません。 Lei et al. (2016) は、独立したスニペット抽出と予測モジュールを定義することによって、ニューラルネットワーク分類のための忠実な論理式を生成するモデルを提案した。 しかし、この方法で実行される入力トークンの離散的な選択はトレーニングを複雑にし、高い分散と注意深いハイパーパラメータチューニングを必要とする。 構築による忠実な説明を提供するこのアプローチのより単純な変種を提案する。 提案手法では,任意の特徴重要度スコア(例えば,訓練されたモデルからの勾配)を用いてトークン入力に対してバイナリラベルを誘導し,抽出器が予測できるように訓練する。 独立した分類器モジュールは、たとえ分類器が任意に複雑であっても、抽出器によって提供されるスニペットのみに基づいて訓練される。 自動評価と手動評価の両方において、この単純なフレームワークの変種は、より一般的で訓練が容易で、'エンドツーエンド'アプローチよりも優れた予測性能をもたらす。 コードはhttps://github.com/successar/FRESHで入手できる。

関連論文リスト

• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [29.67884478799914]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• You Only Forward Once: Prediction and Rationalization in A Single Forward Pass [10.998983921416533]
  教師なしの合理性抽出は、合理性のないモデル予測をサポートするために、簡潔で連続的なテキストスニペットを抽出することを目的としている。 これまでの研究では、RNP(Rationalizing Neural Prediction)フレームワークと呼ばれる2段階のフレームワークを使用してきた。 そこで我々は,論理学の緩和版から派生した,単相一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一
  論文  参考訳（メタデータ） (2023-11-04T08:04:28Z)
• An Attribution Method for Siamese Encoders [2.1163800956183776]
  本稿では,複数の入力を持つモデルに対する積分勾配の原理を一般化することにより,シームズエンコーダの局所帰属法を導出する。 パイロットスタディでは、STでは少数のトークンペアが多くの予測を説明でき、名詞や動詞に焦点を絞っていることが示されている。
  論文  参考訳（メタデータ） (2023-10-09T13:24:44Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Explaining Reject Options of Learning Vector Quantization Classifiers [6.125017875330933]
  本稿では,機械学習モデルにおけるリジェクトの説明に反事実的説明を用いることを提案する。 重要なモデルのクラスに対して、異なる拒絶オプションの反実的説明を効率的に計算する方法を検討する。
  論文  参考訳（メタデータ） (2022-02-15T08:16:10Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。