論文の概要: LMExplainer: a Knowledge-Enhanced Explainer for Language Models

• arxiv url: http://arxiv.org/abs/2303.16537v1
• Date: Wed, 29 Mar 2023 08:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 15:28:28.484343
• Title: LMExplainer: a Knowledge-Enhanced Explainer for Language Models
• Title（参考訳）: LMExplainer: 言語モデルのための知識強化型説明器
• Authors: Zichen Chen, Ambuj K Singh, Misha Sra
• Abstract要約: GPT-4のような大規模言語モデル(LM)は非常に強力であり、異なる種類の自然言語処理(NLP)タスクを処理できる。 モデルがどのように動作するか理解できないため、モデルは現実のシナリオにおいて、日々のユーザにとって信頼できない、危険なものになります。 人間の理解可能な説明を提供する言語モデルのための知識強化型解釈モジュールLMExplainerを提案する。
• 参考スコア（独自算出の注目度）: 23.286843033345658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LMs) such as GPT-4 are very powerful and can process different kinds of natural language processing (NLP) tasks. However, it can be difficult to interpret the results due to the multi-layer nonlinear model structure and millions of parameters. Lack of understanding of how the model works can make the model unreliable and dangerous for everyday users in real-world scenarios. Most recent works exploit the weights of attention to provide explanations for model predictions. However, pure attention-based explanation is unable to support the growing complexity of the models, and cannot reason about their decision-making processes. Thus, we propose LMExplainer, a knowledge-enhanced interpretation module for language models that can provide human-understandable explanations. We use a knowledge graph (KG) and a graph attention neural network to extract the key decision signals of the LM. We further explore whether interpretation can also help AI understand the task better. Our experimental results show that LMExplainer outperforms existing LM+KG methods on CommonsenseQA and OpenBookQA. We also compare the explanation results with generated explanation methods and human-annotated results. The comparison shows our method can provide more comprehensive and clearer explanations. LMExplainer demonstrates the potential to enhance model performance and furnish explanations for the reasoning processes of models in natural language.
• Abstract（参考訳）: GPT-4のような大規模言語モデル(LM)は非常に強力であり、異なる種類の自然言語処理(NLP)タスクを処理できる。 しかし、多層非線形モデル構造と数百万のパラメータによる結果の解釈は困難である。 モデルがどのように機能するか理解できないため、モデルは現実のシナリオにおいて日々のユーザにとって信頼できない、危険なものになる。 最近の研究は注意の重みを利用してモデル予測の説明を提供している。 しかし、純粋な注意に基づく説明は、モデルの複雑さの増加を支持することができず、意思決定プロセスについて説明できない。 そこで本研究では,言語モデルのための知識エンハンスド解釈モジュールlmexplainerを提案する。 我々は、知識グラフ(KG)とグラフ注意ニューラルネットワークを用いて、LMの重要な決定信号を抽出する。 私たちはさらに、解釈がaiがタスクをよりよく理解するのに役立つかどうかを探ります。 実験の結果,LMExplainer は CommonsenseQA と OpenBookQA で既存の LM+KG 法より優れていることがわかった。 また,説明結果と人手による説明方法とを比較した。 比較の結果,より包括的かつ明確な説明が得られた。 LMExplainerは、モデルの性能を高め、自然言語におけるモデルの推論プロセスを説明する可能性を実証する。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
  大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。 本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-16T13:46:06Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making [13.928951741632815]
  大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。
  論文  参考訳（メタデータ） (2023-11-15T00:34:28Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。