論文の概要: A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption

• arxiv url: http://arxiv.org/abs/2403.10275v1
• Date: Fri, 15 Mar 2024 13:15:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:11:11.109866
• Title: A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption
• Title（参考訳）: 大規模言語モデルの説明可能性と単語レベル一階定性推定に関する一考察
• Authors: Jeremie Bogaert, Francois-Xavier Standaert,
• Abstract要約: 説明の信号、雑音、信号対雑音比について統計的に定義する。 次に、信号と雑音の代替定義を用いて、これらの結果を改善する可能性について議論する。
• 参考スコア（独自算出の注目度）: 4.824647351224233
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The explanations of large language models have recently been shown to be sensitive to the randomness used for their training, creating a need to characterize this sensitivity. In this paper, we propose a characterization that questions the possibility to provide simple and informative explanations for such models. To this end, we give statistical definitions for the explanations' signal, noise and signal-to-noise ratio. We highlight that, in a typical case study where word-level univariate explanations are analyzed with first-order statistical tools, the explanations of simple feature-based models carry more signal and less noise than those of transformer ones. We then discuss the possibility to improve these results with alternative definitions of signal and noise that would capture more complex explanations and analysis methods, while also questioning the tradeoff with their plausibility for readers.
• Abstract（参考訳）: 大規模言語モデルの説明は、最近、トレーニングに使用されるランダム性に敏感であることが示され、この感度を特徴づける必要性が生じた。 本稿では,そのようなモデルに対して,シンプルかつ情報的な説明を提供する可能性に疑問を呈するキャラクタリゼーションを提案する。 この目的のために、説明者の信号、雑音、信号対雑音比について統計的に定義する。 単語レベルの一変量説明を一階統計ツールで分析する典型的なケーススタディにおいて、単純な特徴ベースモデルの説明はトランスフォーマーモデルよりも信号が多く、ノイズも少ない。 次に、より複雑な説明や分析手法を捉えた信号と雑音の代替定義を用いて、これらの結果を改善する可能性について論じるとともに、読者に対するその可能性とのトレードオフを疑問視する。

関連論文リスト

• Explanation sensitivity to the randomness of large language models: the case of journalistic text classification [6.240875403446504]
  本研究では,大規模言語モデルの学習におけるランダム要素の影響について,その予測可能性について検討する。 微調整のCamemBERTモデルと、関連性伝播に基づく説明手法を用いて、異なるランダムシードを用いたトレーニングは、類似の精度であるが可変的な説明を伴うモデルを生成する。
  論文  参考訳（メタデータ） (2024-10-07T14:39:45Z)
• Selective Explanations [14.312717332216073]
  機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。 その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。 そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:08:31Z)
• On Generating Monolithic and Model Reconciling Explanations in Probabilistic Scenarios [46.752418052725126]
  本稿では,確率論的モノリシックな説明とモデル整合的な説明を生成するための新しいフレームワークを提案する。 モノリシックな説明のために,本手法は確率論的論理を利用して不確実性を統合し,説明の確率を増大させる。 モデル整合性の説明のために,モデル整合性問題の論理に基づく変種を拡張し,確率的人間モデルを考慮したフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:07:31Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
  モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。 MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。 シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T12:58:06Z)
• Learning with Explanation Constraints [91.23736536228485]
  我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。 我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T15:06:47Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Diagnostics-Guided Explanation Generation [32.97930902104502]
  説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定に役立ちます。 文レベルの説明を生成するためにモデルを訓練する際、いくつかの診断特性を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-09-08T16:27:52Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。