論文の概要: A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption
- arxiv url: http://arxiv.org/abs/2403.10275v1
- Date: Fri, 15 Mar 2024 13:15:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 17:11:11.109866
- Title: A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption
- Title(参考訳): 大規模言語モデルの説明可能性と単語レベル一階定性推定に関する一考察
- Authors: Jeremie Bogaert, Francois-Xavier Standaert,
- Abstract要約: 説明の信号、雑音、信号対雑音比について統計的に定義する。
次に、信号と雑音の代替定義を用いて、これらの結果を改善する可能性について議論する。
- 参考スコア(独自算出の注目度): 4.824647351224233
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The explanations of large language models have recently been shown to be sensitive to the randomness used for their training, creating a need to characterize this sensitivity. In this paper, we propose a characterization that questions the possibility to provide simple and informative explanations for such models. To this end, we give statistical definitions for the explanations' signal, noise and signal-to-noise ratio. We highlight that, in a typical case study where word-level univariate explanations are analyzed with first-order statistical tools, the explanations of simple feature-based models carry more signal and less noise than those of transformer ones. We then discuss the possibility to improve these results with alternative definitions of signal and noise that would capture more complex explanations and analysis methods, while also questioning the tradeoff with their plausibility for readers.
- Abstract(参考訳): 大規模言語モデルの説明は、最近、トレーニングに使用されるランダム性に敏感であることが示され、この感度を特徴づける必要性が生じた。
本稿では,そのようなモデルに対して,シンプルかつ情報的な説明を提供する可能性に疑問を呈するキャラクタリゼーションを提案する。
この目的のために、説明者の信号、雑音、信号対雑音比について統計的に定義する。
単語レベルの一変量説明を一階統計ツールで分析する典型的なケーススタディにおいて、単純な特徴ベースモデルの説明はトランスフォーマーモデルよりも信号が多く、ノイズも少ない。
次に、より複雑な説明や分析手法を捉えた信号と雑音の代替定義を用いて、これらの結果を改善する可能性について論じるとともに、読者に対するその可能性とのトレードオフを疑問視する。
関連論文リスト
- Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。
最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。
生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
論文 参考訳(メタデータ) (2024-04-03T10:11:22Z) - Explaining Pre-Trained Language Models with Attribution Scores: An
Analysis in Low-Resource Settings [32.03184402316848]
我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。
プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
論文 参考訳(メタデータ) (2024-03-08T14:14:37Z) - MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。
MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。
シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
論文 参考訳(メタデータ) (2023-05-22T12:58:06Z) - Learning with Explanation Constraints [91.23736536228485]
我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。
我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T15:06:47Z) - Model interpretation using improved local regression with variable
importance [3.1690891866882236]
本稿では、VarImpとSupClusという2つの新しい解釈可能性手法を紹介する。
VarImpは各インスタンスの説明を生成し、より複雑な関係を持つデータセットに適用することができる。
SupClusは、同様の説明でインスタンスのクラスタを解釈し、より単純なデータセットに適用することができる。
論文 参考訳(メタデータ) (2022-09-12T16:22:59Z) - A Model-Agnostic SAT-based Approach for Symbolic Explanation Enumeration [26.500149465292246]
特徴量と出力の関係を解析することにより,単一予測を局所的に説明するための説明を生成する。
提案手法では,予測モデルの命題エンコーディングとSATに基づくセッティングを用いて,2種類の記号的説明を生成する。
論文 参考訳(メタデータ) (2022-06-23T08:35:47Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Diagnostics-Guided Explanation Generation [32.97930902104502]
説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定に役立ちます。
文レベルの説明を生成するためにモデルを訓練する際、いくつかの診断特性を最適化する方法を示す。
論文 参考訳(メタデータ) (2021-09-08T16:27:52Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。