論文の概要: LMExplainer: a Knowledge-Enhanced Explainer for Language Models
- arxiv url: http://arxiv.org/abs/2303.16537v1
- Date: Wed, 29 Mar 2023 08:59:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 15:28:28.484343
- Title: LMExplainer: a Knowledge-Enhanced Explainer for Language Models
- Title(参考訳): LMExplainer: 言語モデルのための知識強化型説明器
- Authors: Zichen Chen, Ambuj K Singh, Misha Sra
- Abstract要約: GPT-4のような大規模言語モデル(LM)は非常に強力であり、異なる種類の自然言語処理(NLP)タスクを処理できる。
モデルがどのように動作するか理解できないため、モデルは現実のシナリオにおいて、日々のユーザにとって信頼できない、危険なものになります。
人間の理解可能な説明を提供する言語モデルのための知識強化型解釈モジュールLMExplainerを提案する。
- 参考スコア(独自算出の注目度): 23.286843033345658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LMs) such as GPT-4 are very powerful and can process
different kinds of natural language processing (NLP) tasks. However, it can be
difficult to interpret the results due to the multi-layer nonlinear model
structure and millions of parameters. Lack of understanding of how the model
works can make the model unreliable and dangerous for everyday users in
real-world scenarios. Most recent works exploit the weights of attention to
provide explanations for model predictions. However, pure attention-based
explanation is unable to support the growing complexity of the models, and
cannot reason about their decision-making processes. Thus, we propose
LMExplainer, a knowledge-enhanced interpretation module for language models
that can provide human-understandable explanations. We use a knowledge graph
(KG) and a graph attention neural network to extract the key decision signals
of the LM. We further explore whether interpretation can also help AI
understand the task better. Our experimental results show that LMExplainer
outperforms existing LM+KG methods on CommonsenseQA and OpenBookQA. We also
compare the explanation results with generated explanation methods and
human-annotated results. The comparison shows our method can provide more
comprehensive and clearer explanations. LMExplainer demonstrates the potential
to enhance model performance and furnish explanations for the reasoning
processes of models in natural language.
- Abstract(参考訳): GPT-4のような大規模言語モデル(LM)は非常に強力であり、異なる種類の自然言語処理(NLP)タスクを処理できる。
しかし、多層非線形モデル構造と数百万のパラメータによる結果の解釈は困難である。
モデルがどのように機能するか理解できないため、モデルは現実のシナリオにおいて日々のユーザにとって信頼できない、危険なものになる。
最近の研究は注意の重みを利用してモデル予測の説明を提供している。
しかし、純粋な注意に基づく説明は、モデルの複雑さの増加を支持することができず、意思決定プロセスについて説明できない。
そこで本研究では,言語モデルのための知識エンハンスド解釈モジュールlmexplainerを提案する。
我々は、知識グラフ(KG)とグラフ注意ニューラルネットワークを用いて、LMの重要な決定信号を抽出する。
私たちはさらに、解釈がaiがタスクをよりよく理解するのに役立つかどうかを探ります。
実験の結果,LMExplainer は CommonsenseQA と OpenBookQA で既存の LM+KG 法より優れていることがわかった。
また,説明結果と人手による説明方法とを比較した。
比較の結果,より包括的かつ明確な説明が得られた。
LMExplainerは、モデルの性能を高め、自然言語におけるモデルの推論プロセスを説明する可能性を実証する。
関連論文リスト
- Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。
1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
論文 参考訳(メタデータ) (2024-04-04T12:46:37Z) - An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。
次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。
命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
論文 参考訳(メタデータ) (2024-04-03T19:31:56Z) - Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Frugal LMs Trained to Invoke Symbolic Solvers Achieve
Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。
算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
論文 参考訳(メタデータ) (2023-12-09T13:20:49Z) - XplainLLM: A QA Explanation Dataset for Understanding LLM
Decision-Making [13.928951741632815]
大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。
本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。
我々のデータセットには12,102のQAEトリプルが含まれている。
論文 参考訳(メタデータ) (2023-11-15T00:34:28Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳(メタデータ) (2023-11-13T06:13:38Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳(メタデータ) (2023-10-23T01:47:29Z) - Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。
副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
論文 参考訳(メタデータ) (2022-10-13T04:50:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。