論文の概要: StyLEx: Explaining Style Using Human Lexical Annotations
- arxiv url: http://arxiv.org/abs/2210.07469v2
- Date: Fri, 14 Apr 2023 17:06:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 16:55:04.836644
- Title: StyLEx: Explaining Style Using Human Lexical Annotations
- Title(参考訳): Stylex: 人間の語彙アノテーションを用いた説明スタイル
- Authors: Shirley Anugrah Hayati, Kyumin Park, Dheeraj Rajagopal, Lyle Ungar,
Dongyeop Kang
- Abstract要約: 本稿では,スタイリスティックな特徴の人間による説明から学習し,これらの特徴をモデル説明として予測するモデルであるStyLExを紹介する。
実験の結果,Stylexは文レベルの予測性能を犠牲にすることなく,人文的な語彙的説明が可能であることがわかった。
- 参考スコア(独自算出の注目度): 19.060460823186958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large pre-trained language models have achieved impressive results on various
style classification tasks, but they often learn spurious domain-specific words
to make predictions (Hayati et al., 2021). While human explanation highlights
stylistic tokens as important features for this task, we observe that model
explanations often do not align with them. To tackle this issue, we introduce
StyLEx, a model that learns from human-annotated explanations of stylistic
features and jointly learns to perform the task and predict these features as
model explanations. Our experiments show that StyLEx can provide human-like
stylistic lexical explanations without sacrificing the performance of
sentence-level style prediction on both in-domain and out-of-domain datasets.
Explanations from StyLEx show significant improvements in explanation metrics
(sufficiency, plausibility) and when evaluated with human annotations. They are
also more understandable by human judges compared to the widely-used
saliency-based explanation baseline.
- Abstract(参考訳): 大規模な事前学習された言語モデルは、様々なスタイル分類タスクで印象的な結果を得たが、しばしばスプリアスなドメイン固有語を学習して予測を行う(hayati et al., 2021)。
人間の説明では、このタスクの重要な特徴としてスタイリスティックトークンが強調されるが、モデル説明はしばしばそれらと一致しない。
この課題に取り組むために,スタイリスティックな特徴の人間が注釈した説明から学習し,協調的にタスクの実行を学習し,それらの特徴をモデル説明として予測するモデルstylexを紹介する。
実験の結果,Stylexは文レベルの予測性能をドメイン内およびドメイン外の両方で犠牲にすることなく,人文的な語彙的説明を提供することができた。
StyLExによる説明では、説明基準(十分性、妥当性)と人間のアノテーションによる評価において、大幅な改善が示されている。
また、広く使われているサリエンシに基づく説明基準よりも、人間の判断により理解しやすい。
関連論文リスト
- XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。
伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。
時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
論文 参考訳(メタデータ) (2024-10-18T05:16:39Z) - Natural Language Counterfactual Explanations for Graphs Using Large Language Models [7.560731917128082]
我々は、オープンソースのLarge Language Modelsの力を利用して、自然言語の説明を生成する。
提案手法は, 対実例の正確な自然言語表現を効果的に生成することを示す。
論文 参考訳(メタデータ) (2024-10-11T23:06:07Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。
MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。
シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
論文 参考訳(メタデータ) (2023-05-22T12:58:06Z) - Saliency Map Verbalization: Comparing Feature Importance Representations
from Model-free and Instruction-based Methods [6.018950511093273]
サージェンシマップは、重要な入力特徴を特定することによって、ニューラルネットワークの予測を説明することができる。
我々は,サリエンシマップを自然言語に翻訳する未調査課題を定式化する。
本研究では,従来の特徴強調表現と比較した2つの新手法(検索ベースおよび命令ベース言語化)を比較した。
論文 参考訳(メタデータ) (2022-10-13T17:48:15Z) - ELUDE: Generating interpretable explanations via a decomposition into
labelled and unlabelled features [23.384134043048807]
モデルの予測を2つの部分に分解する説明フレームワークを開発する。
後者を識別することで、モデルの"説明できない"部分を分析することができます。
また,同機能領域で訓練された複数のモデルに対して,非競合機能セットが一般化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-15T17:36:55Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳(メタデータ) (2020-10-24T02:05:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。