論文の概要: Pruning Literals for Highly Efficient Explainability at Word Level

• arxiv url: http://arxiv.org/abs/2411.04557v1
• Date: Thu, 07 Nov 2024 09:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:40:04.512783
• Title: Pruning Literals for Highly Efficient Explainability at Word Level
• Title（参考訳）: 単語レベルで高効率な説明性を実現するリテラルの抽出
• Authors: Rohan Kumar Yadav, Bimal Bhattarai, Abhik Jana, Lei Jiao, Seid Muhie Yimam,
• Abstract要約: Tsetlin Machine(TM)は、命題論理を用いた単語レベルの説明を提供する能力があるので、有望である。 本稿では,文中にランダムに置かれるリテラルを排除した節のポストホックプルーニングを設計する。 一般公開されたYELP-HATデータセットの実験では、提案されたプルーンドTMのアテンションマップが、バニラTMのアテンションマップよりも人間のアテンションマップと一致していることが示されている。
• 参考スコア（独自算出の注目度）: 13.249876381579158
• License:
• Abstract: Designing an explainable model becomes crucial now for Natural Language Processing(NLP) since most of the state-of-the-art machine learning models provide a limited explanation for the prediction. In the spectrum of an explainable model, Tsetlin Machine(TM) is promising because of its capability of providing word-level explanation using proposition logic. However, concern rises over the elaborated combination of literals (propositional logic) in the clause that makes the model difficult for humans to comprehend, despite having a transparent learning process. In this paper, we design a post-hoc pruning of clauses that eliminate the randomly placed literals in the clause thereby making the model more efficiently interpretable than the vanilla TM. Experiments on the publicly available YELP-HAT Dataset demonstrate that the proposed pruned TM's attention map aligns more with the human attention map than the vanilla TM's attention map. In addition, the pairwise similarity measure also surpasses the attention map-based neural network models. In terms of accuracy, the proposed pruning method does not degrade the accuracy significantly but rather enhances the performance up to 4% to 9% in some test data.
• Abstract（参考訳）: 最先端の機械学習モデルのほとんどは、予測について限定的な説明を提供するため、自然言語処理(NLP)では説明可能なモデルの設計が重要になっている。 説明可能なモデルのスペクトルにおいて、Tsetlin Machine(TM)は命題論理を用いた単語レベルの説明を提供する能力があるので、有望である。 しかし、透明な学習プロセスにもかかわらず、人間が理解しにくくする節において、リテラル(命題論理)の精巧な組み合わせが懸念される。 本稿では,文節中のランダムに配置されたリテラルを排除し,バニラTMよりも効率的に解釈可能な節のポストホックプルーニングを設計する。 一般公開されたYELP-HATデータセットの実験では、提案されたプルーンドTMのアテンションマップが、バニラTMのアテンションマップよりも人間のアテンションマップと一致していることが示されている。 さらに、ペアワイズ類似度尺度は、注意マップベースのニューラルネットワークモデルを上回る。 精度の面では,提案手法は精度を著しく低下させるのではなく,テストデータによっては4%から9%まで性能を向上させる。

関連論文リスト

• Explanation sensitivity to the randomness of large language models: the case of journalistic text classification [6.240875403446504]
  本研究では,大規模言語モデルの学習におけるランダム要素の影響について,その予測可能性について検討する。 微調整のCamemBERTモデルと、関連性伝播に基づく説明手法を用いて、異なるランダムシードを用いたトレーニングは、類似の精度であるが可変的な説明を伴うモデルを生成する。
  論文  参考訳（メタデータ） (2024-10-07T14:39:45Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Building Reliable Explanations of Unreliable Neural Networks: Locally Smoothing Perspective of Model Interpretation [0.0]
  本稿では,ニューラルネットワークの予測を確実に説明するための新しい手法を提案する。 本手法は,モデル予測の損失関数における平滑な景観の仮定に基づいて構築される。
  論文  参考訳（メタデータ） (2021-03-26T08:52:11Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data [7.05622249909585]
  TMモデルが特定の予測を行う理由(局所的解釈可能性)を理解するためのクローズドフォーム表現を提案する。 また、連続した特徴に対する特徴値範囲の重要性を測定するための式も導入する。 分類と回帰については,XGBoost, Explainable Boosting Machines, Neural Additive Modelsと比較し, SHAPとの対応, および競合予測精度を示す。
  論文  参考訳（メタデータ） (2020-07-27T21:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。