論文の概要: An Empirical Study on Explanations in Out-of-Domain Settings

• arxiv url: http://arxiv.org/abs/2203.00056v1
• Date: Mon, 28 Feb 2022 19:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 05:19:25.938102
• Title: An Empirical Study on Explanations in Out-of-Domain Settings
• Title（参考訳）: ドメイン外の説明に関する実証的研究
• Authors: George Chrysostomou and Nikolaos Aletras
• Abstract要約: ドメイン外設定において、ポストホックな説明と本質的に忠実なモデルがどのように機能するかを検討する。 その結果, ドメイン外説明の忠実度は, ドメイン内説明の充実度や包括性によって測定されることが多い。 また,本研究では,全文学習モデルに対して,ドメイン外設定において,予測モデルに比較して予測性能が示された。
• 参考スコア（独自算出の注目度）: 35.07805573291534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work in Natural Language Processing has focused on developing approaches that extract faithful explanations, either via identifying the most important tokens in the input (i.e. post-hoc explanations) or by designing inherently faithful models that first select the most important tokens and then use them to predict the correct label (i.e. select-then-predict models). Currently, these approaches are largely evaluated on in-domain settings. Yet, little is known about how post-hoc explanations and inherently faithful models perform in out-of-domain settings. In this paper, we conduct an extensive empirical study that examines: (1) the out-of-domain faithfulness of post-hoc explanations, generated by five feature attribution methods; and (2) the out-of-domain performance of two inherently faithful models over six datasets. Contrary to our expectations, results show that in many cases out-of-domain post-hoc explanation faithfulness measured by sufficiency and comprehensiveness is higher compared to in-domain. We find this misleading and suggest using a random baseline as a yardstick for evaluating post-hoc explanation faithfulness. Our findings also show that select-then predict models demonstrate comparable predictive performance in out-of-domain settings to full-text trained models.
• Abstract（参考訳）: 自然言語処理における最近の研究は、入力中の最も重要なトークン(すなわち、ポストホックな説明)を特定するか、最初に最も重要なトークンを選択して正しいラベル(すなわち、選択-予測モデル)を予測する本質的に忠実なモデルを設計することによって、忠実な説明を抽出する手法の開発に焦点を当てている。 現在、これらのアプローチはドメイン内の設定で大きく評価されている。 しかし、ポストホックな説明や本質的に忠実なモデルはドメイン外設定でどのように振る舞うかについてはほとんど知られていない。 本稿では,(1)5つの特徴帰属法によって生み出されるポストホックな説明のドメイン外忠実度,(2)6つのデータセットに対して本質的に忠実な2つのモデルのドメイン外性能について検討する。 我々の期待に反して, 多くの場合, ドメイン外説明では, 十分性と包括性によって測定される忠実さは, ドメイン内説明よりも高い。 この誤解を招き,無作為なベースラインをヤードスティックとして使用して,ポストホックな説明の忠実さを評価することを提案する。 また,select-then予測モデルでは,全文学習モデルに対してドメイン外設定で同等の予測性能を示すことが示された。

関連論文リスト

• Data-centric Prediction Explanation via Kernelized Stein Discrepancy [14.177012256360635]
  本稿では,KSDの特性を利用した高精度・データ中心記述(HD-Explain)予測法を提案する。 具体的には、KSDはモデル依存データ相関を符号化する訓練モデルのパラメータ化カーネル関数を独自に定義する。 本稿では,HD-Explainが高精度(きめ細かな説明),一貫性,計算効率など,様々な面から既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-22T19:04:02Z)
• Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings [32.03184402316848]
  我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。 プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
  論文  参考訳（メタデータ） (2024-03-08T14:14:37Z)
• Towards Faithful Explanations for Text Classification with Robustness Improvement and Explanation Guided Training [30.626080706755822]
  特徴属性法は、重要な入力トークンをモデル予測の説明として強調する。 近年の研究では、これらの手法による説明は、忠実で堅牢であるという課題に直面している。 本稿では,テキスト分類のためのロバスト性向上と説明指導による,より忠実な説明(REGEX)への指導手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T13:07:07Z)
• Quantifying Representation Reliability in Self-Supervised Learning Models [12.485580780944083]
  自己教師付き学習モデルは、データから汎用的な表現を抽出する。 表現信頼性の形式的定義を導入する。 本稿では,下流タスクを優先課題と知らずに表現信頼性を推定するアンサンブルに基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T21:57:33Z)
• Assessing Out-of-Domain Language Model Performance from Few Examples [38.245449474937914]
  ドメイン外性能(OOD)を数ショットで予測するタスクに対処する。 数ショットの例でモデル精度をみると、このタスクのパフォーマンスをベンチマークする。 帰属に基づく要因がOODの相対モデルの性能のランク付けに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:45:26Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Search Methods for Sufficient, Socially-Aligned Feature Importance Explanations with In-Distribution Counterfactuals [72.00815192668193]
  特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。 FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
  論文  参考訳（メタデータ） (2021-06-01T20:36:48Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。