論文の概要: Incorporating Attribution Importance for Improving Faithfulness Metrics

• arxiv url: http://arxiv.org/abs/2305.10496v1
• Date: Wed, 17 May 2023 18:05:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 18:27:48.520495
• Title: Incorporating Attribution Importance for Improving Faithfulness Metrics
• Title（参考訳）: 忠実度指標の改善における帰属の重要性
• Authors: Zhixue Zhao, Nikolaos Aletras
• Abstract要約: FA(Feature Attribution Method)は、予測を行うモデル推論プロセスに関する洞察を提供するための一般的なアプローチである。 簡単なソフト消去基準を提案する。 我々の実験は、我々のソフト・サフィリエイトとソフト・コン包括性の測定値が一貫して、より忠実な説明を好んでいることを示している。
• 参考スコア（独自算出の注目度）: 36.02988430743367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature attribution methods (FAs) are popular approaches for providing insights into the model reasoning process of making predictions. The more faithful a FA is, the more accurately it reflects which parts of the input are more important for the prediction. Widely used faithfulness metrics, such as sufficiency and comprehensiveness use a hard erasure criterion, i.e. entirely removing or retaining the top most important tokens ranked by a given FA and observing the changes in predictive likelihood. However, this hard criterion ignores the importance of each individual token, treating them all equally for computing sufficiency and comprehensiveness. In this paper, we propose a simple yet effective soft erasure criterion. Instead of entirely removing or retaining tokens from the input, we randomly mask parts of the token vector representations proportionately to their FA importance. Extensive experiments across various natural language processing tasks and different FAs show that our soft-sufficiency and soft-comprehensiveness metrics consistently prefer more faithful explanations compared to hard sufficiency and comprehensiveness. Our code: https://github.com/casszhao/SoftFaith
• Abstract（参考訳）: 機能帰属メソッド(fas)は、予測を行うモデル推論プロセスに関する洞察を提供する一般的なアプローチである。 faがより忠実であるほど、入力のどの部分が予測にとってより重要であるかをより正確に反映する。 充足度や包括性など、広く使われている忠実度指標は、特定のfaによってランク付けされた最上位のトークンを完全に削除または保持し、予測可能性の変化を観察するハード消去基準を用いる。 しかし、この厳しい基準は個々のトークンの重要性を無視し、それら全てを計算能力と包括性のために等しく扱う。 本稿では,簡易かつ効果的なソフト消去基準を提案する。 入力からトークンを完全に削除または保持する代わりに、faの重要性に比例してトークンベクトル表現の一部をランダムにマスクします。 様々な自然言語処理タスクと異なるfasの広範囲な実験により、我々のソフト・サフィシシーとソフト・コンプレッシブネスのメトリクスは、ハード・サフィシリティと包括性よりも、一貫してより忠実な説明を好むことが示された。 私たちのコード: https://github.com/casszhao/softfaith

関連論文リスト

• The Fragility of Fairness: Causal Sensitivity Analysis for Fair Machine Learning [34.50562695587344]
  因果感度分析のツールをFairMLコンテキストに適用する。 本稿では,最も一般的なパリティ指標の感度を3種類の分類器で解析する。 因果感度分析は、パリティ計量評価の有意性を高めるために強力で必要なツールキットを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-12T17:28:49Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• ReAGent: A Model-agnostic Feature Attribution Method for Generative Language Models [4.015810081063028]
  モデル予測に対する全ての入力特徴の重要性を導出するために、FA(Feature Attribution Method)が使用される。 テキスト生成においてデコーダのみのモデルにこれらのFAを使うことが忠実かどうかは不明である。 Recursive Attribution Generator (ReAGent) と呼ばれるジェネレーティブ LM のためのモデル非依存型 FA を提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:25:51Z)
• Faithfulness Measurable Masked Language Models [35.40666730867487]
  NLPモデルを説明するための一般的なアプローチは、予測にどのトークンが重要であるかを表現する重要な尺度を使用することである。 そのような指標の1つは、トークンが本当に重要であるなら、それらを隠すことはモデルのパフォーマンスを悪化させる。 この研究は、これらの課題に対処する本質的に忠実度測定可能なモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-11T19:00:40Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Practical Approaches for Fair Learning with Multitype and Multivariate Sensitive Attributes [70.6326967720747]
  現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。 本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。 実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-11-11T11:28:46Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。