論文の概要: A Methodology for Explainable Large Language Models with Integrated Gradients and Linguistic Analysis in Text Classification

• arxiv url: http://arxiv.org/abs/2410.00250v1
• Date: Mon, 30 Sep 2024 21:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:46:17.082489
• Title: A Methodology for Explainable Large Language Models with Integrated Gradients and Linguistic Analysis in Text Classification
• Title（参考訳）: テキスト分類における統合勾配と言語解析を用いた説明可能な大言語モデルの一手法
• Authors: Marina Ribeiro, Bárbara Malcorra, Natália B. Mota, Rodrigo Wilkens, Aline Villavicencio, Lilian C. Hubner, César Rennó-Costa,
• Abstract要約: アルツハイマー病(AD)のような発声に影響を及ぼす神経疾患は、患者と介護者の生活に大きな影響を及ぼす。 近年のLarge Language Model (LLM) アーキテクチャの進歩は、自然発声による神経疾患の代表的特徴を識別する多くのツールを開発した。 本稿では,ADに代表される語彙成分を識別できるSLIME法を提案する。
• 参考スコア（独自算出の注目度）: 2.556395214262035
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neurological disorders that affect speech production, such as Alzheimer's Disease (AD), significantly impact the lives of both patients and caregivers, whether through social, psycho-emotional effects or other aspects not yet fully understood. Recent advancements in Large Language Model (LLM) architectures have developed many tools to identify representative features of neurological disorders through spontaneous speech. However, LLMs typically lack interpretability, meaning they do not provide clear and specific reasons for their decisions. Therefore, there is a need for methods capable of identifying the representative features of neurological disorders in speech and explaining clearly why these features are relevant. This paper presents an explainable LLM method, named SLIME (Statistical and Linguistic Insights for Model Explanation), capable of identifying lexical components representative of AD and indicating which components are most important for the LLM's decision. In developing this method, we used an English-language dataset consisting of transcriptions from the Cookie Theft picture description task. The LLM Bidirectional Encoder Representations from Transformers (BERT) classified the textual descriptions as either AD or control groups. To identify representative lexical features and determine which are most relevant to the model's decision, we used a pipeline involving Integrated Gradients (IG), Linguistic Inquiry and Word Count (LIWC), and statistical analysis. Our method demonstrates that BERT leverages lexical components that reflect a reduction in social references in AD and identifies which further improve the LLM's accuracy. Thus, we provide an explainability tool that enhances confidence in applying LLMs to neurological clinical contexts, particularly in the study of neurodegeneration.
• Abstract（参考訳）: アルツハイマー病(AD)のような発声に影響を及ぼす神経疾患は、社会的、精神的な感情的効果、その他の側面が完全には理解されていないかにかかわらず、患者と介護者の生活に大きな影響を及ぼす。 近年のLarge Language Model (LLM) アーキテクチャの進歩は、自然発声による神経疾患の代表的特徴を識別する多くのツールを開発した。 しかし、LLMは通訳性に欠けており、その決定の明確かつ具体的な理由を提供していない。 したがって、音声における神経疾患の代表的特徴を識別し、これらの特徴がなぜ関連しているのかを明確に説明できる方法が必要である。 本稿では, SLIME (Statistical and Linguistic Insights for Model Explanation) というLCM法を提案する。 本手法の開発には,Cookie Theft 画像記述タスクの書き起こしからなる英語データセットを用いた。 LLM Bidirectional Encoder Representations from Transformers (BERT)は、テキスト記述をADまたはコントロールグループに分類した。 代表的な語彙の特徴を識別し,モデルの判断に最も関係があるかを判断するために,統合言語(IG),言語質問・単語数(LIWC),統計解析を含むパイプラインを用いた。 提案手法は,ADにおける社会的参照の減少を反映した語彙成分を活用し,LLMの精度をさらに向上させることを示す。 そこで我々は, 神経疾患, 特に神経変性研究において, LLMを神経学的臨床的文脈に適用する信頼性を高めるための説明可能性ツールを提供する。

関連論文リスト

• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• Profiling Patient Transcript Using Large Language Model Reasoning Augmentation for Alzheimer's Disease Detection [4.961581278723015]
  アルツハイマー病(AD)は認知症の主要な原因であり、徐々に音声や言語能力の低下が特徴である。 近年の深層学習は自発音声によるAD自動検出を容易にする。 各発話中のテキストパターンを,患者の言語的特徴をグローバルに把握せずに直接モデル化する。
  論文  参考訳（メタデータ） (2024-09-19T07:58:07Z)
• Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation [63.064204206220936]
  基礎的な大規模言語モデル(LLM)は、私たちが技術を理解する方法を変えました。 詩の執筆からコーディング、エッセイ生成、パズルの解決まで、様々な課題に長けていることが示されている。 画像生成機能の導入により、より包括的で汎用的なAIツールとなった。 現在特定されている欠陥には、幻覚、偏見、有害なコンテンツを生成するために制限されたコマンドをバイパスすることが含まれる。
  論文  参考訳（メタデータ） (2024-08-27T14:40:16Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
  大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。 認知科学において、脳認知処理信号は典型的には人間の言語処理を研究するために使用される。 我々はRepresentational similarity Analysis (RSA) を用いて、23個の主要LDMとfMRI信号のアライメントを測定する。
  論文  参考訳（メタデータ） (2024-02-28T03:38:20Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Coupling Symbolic Reasoning with Language Modeling for Efficient Longitudinal Understanding of Unstructured Electronic Medical Records [0.9003755151302328]
  言語モデルとシンボリック推論の結合による非構造的臨床テキストの理解向上効果について検討する。 このような組み合わせは、非構造化レコードからのいくつかの医学変数の抽出を改善することを示す。
  論文  参考訳（メタデータ） (2023-08-07T07:29:49Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Toward Knowledge-Driven Speech-Based Models of Depression: Leveraging Spectrotemporal Variations in Speech Vowels [10.961439164833891]
  抑うつに関連する精神運動士の遅滞は、母音生成の有形差と関連付けられている。 本稿では,母音レベルの音声のスペクトル時間情報を統合し,抑うつを識別する知識駆動機械学習(ML)手法について検討する。
  論文  参考訳（メタデータ） (2022-10-05T19:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。