論文の概要: The Effect of Model Size on LLM Post-hoc Explainability via LIME

• arxiv url: http://arxiv.org/abs/2405.05348v1
• Date: Wed, 8 May 2024 18:27:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:52:18.638276
• Title: The Effect of Model Size on LLM Post-hoc Explainability via LIME
• Title（参考訳）: LIMEによるLLM後説明性に及ぼすモデルサイズの影響
• Authors: Henning Heyen, Amy Widdicombe, Noah Y. Siegel, Maria Perez-Ortiz, Philip Treleaven,
• Abstract要約: 本研究では,自然言語推論タスクにおける4つの異なるサイズのDeBERTaV3モデルのLIME説明について検討する。 モデルの内部決定プロセスへの忠実度と妥当性に基づいて,これらの説明を評価する。 重要な発見は、モデルサイズの増加はモデル性能の改善にもかかわらず、可視性と相関しないということである。
• 参考スコア（独自算出の注目度）: 1.1073658091405039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are becoming bigger to boost performance. However, little is known about how explainability is affected by this trend. This work explores LIME explanations for DeBERTaV3 models of four different sizes on natural language inference (NLI) and zero-shot classification (ZSC) tasks. We evaluate the explanations based on their faithfulness to the models' internal decision processes and their plausibility, i.e. their agreement with human explanations. The key finding is that increased model size does not correlate with plausibility despite improved model performance, suggesting a misalignment between the LIME explanations and the models' internal processes as model size increases. Our results further suggest limitations regarding faithfulness metrics in NLI contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、パフォーマンスを高めるために大きくなりつつある。 しかし、この傾向による説明可能性の影響についてはほとんど分かっていない。 本研究では、自然言語推論(NLI)とゼロショット分類(ZSC)の4つの異なるサイズのDeBERTaV3モデルのLIME説明について検討する。 我々は、モデルの内部決定プロセスへの忠実さと、その妥当性、すなわち人的説明との合意に基づいて、その説明を評価する。 重要な発見は、モデルサイズの増加はモデル性能の改善にもかかわらず、妥当性と相関せず、モデルサイズが増加するにつれて、LIME説明とモデル内部プロセスの相違が示唆されることである。 以上の結果から,NLI文脈における忠実度指標に関する限界が示唆された。

関連論文リスト

• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• DEAL: Disentangle and Localize Concept-level Explanations for VLMs [10.397502254316645]
  大きな訓練済みのビジョンランゲージモデルでは、きめ細かい概念を特定できないかもしれない。 本研究では,人間のアノテーションを使わずに概念のDisEnt and Localize(アングル)概念レベルの説明を提案する。 実験結果から,提案手法はモデルの概念レベルの説明を,不整合性と局所性の観点から著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-07-19T15:39:19Z)
• Show Me How It's Done: The Role of Explanations in Fine-Tuning Language Models [0.45060992929802207]
  言語モデルの性能を向上させるために,説明付き微調整を用いることによる重要な利点を示す。 私たちは、6000万のパラメータしか持たない小さな言語モデルでさえ、このアプローチからかなり恩恵を受けていることに気付きました。
  論文  参考訳（メタデータ） (2024-02-12T10:11:50Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Perturbed examples reveal invariances shared by language models [8.04604449335578]
  2つのNLPモデルを比較するための新しいフレームワークを提案する。 このフレームワークは、同じおよび異なるアーキテクチャファミリーのモデルに関する実験であり、モデルの変化が言語機能にどのように影響するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-07T17:48:35Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Benchmarking Faithfulness: Towards Accurate Natural Language Explanations in Vision-Language Tasks [0.0]
  自然言語の説明(NLE)は、モデルの意思決定を容易に理解可能な方法でコミュニケーション可能にすることを約束する。 現在のモデルは説得力のある説明をうまく生成するが、NLEが実際にモデルの推論過程をいかにうまく表現しているかは未解決の問題である。 帰属相似性(Atribution-Similarity)、NLE-Sufficiency(NLE-Sufficiency)、NLE-Comprehensiveness(NLE-Comprehensiveness)の3つの忠実度指標を提案する。
  論文  参考訳（メタデータ） (2023-04-03T08:24:10Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。