論文の概要: From Understanding to Utilization: A Survey on Explainability for Large
Language Models
- arxiv url: http://arxiv.org/abs/2401.12874v2
- Date: Thu, 22 Feb 2024 04:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 18:05:00.687027
- Title: From Understanding to Utilization: A Survey on Explainability for Large
Language Models
- Title(参考訳): 理解から利用へ:大規模言語モデルの説明可能性に関する調査
- Authors: Haoyan Luo, Lucia Specia
- Abstract要約: この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
- 参考スコア(独自算出の注目度): 27.295767173801426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability for Large Language Models (LLMs) is a critical yet challenging
aspect of natural language processing. As LLMs are increasingly integral to
diverse applications, their "black-box" nature sparks significant concerns
regarding transparency and ethical use. This survey underscores the imperative
for increased explainability in LLMs, delving into both the research on
explainability and the various methodologies and tasks that utilize an
understanding of these models. Our focus is primarily on pre-trained
Transformer-based LLMs, such as LLaMA family, which pose distinctive
interpretability challenges due to their scale and complexity. In terms of
existing methods, we classify them into local and global analyses, based on
their explanatory objectives. When considering the utilization of
explainability, we explore several compelling methods that concentrate on model
editing, control generation, and model enhancement. Additionally, we examine
representative evaluation metrics and datasets, elucidating their advantages
and limitations. Our goal is to reconcile theoretical and empirical
understanding with practical implementation, proposing exciting avenues for
explanatory techniques and their applications in the LLMs era.
- Abstract(参考訳): 大規模言語モデルの説明可能性(LLM)は、自然言語処理の批判的かつ挑戦的な側面である。
LLMは多様なアプリケーションにとってますます不可欠なものになっているため、それらの「ブラックボックス」の性質は透明性と倫理的利用に関する重要な懸念を喚起する。
本調査は, LLMにおける説明可能性の向上を示唆し, これらのモデルを理解するための説明可能性研究と様々な方法論, 課題について考察する。
我々は主にllamaファミリーのような事前学習されたトランスフォーマベースのllmに焦点をあてている。
既存の手法では,説明目的に基づいて局所的およびグローバル的分析に分類する。
説明可能性の活用を考えると,モデル編集,制御生成,モデルの強化に焦点を当てた説得力のある手法がいくつか検討される。
さらに,代表的評価指標とデータセットについて検討し,その利点と限界を明らかにする。
我々のゴールは、理論的および経験的理解を実践的実装と整合させ、説明技法のエキサイティングな道とそのLLM時代の応用を提案することである。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - History, Development, and Principles of Large Language Models-An
Introductory Survey [48.27738446932852]
自然言語処理(NLP)の基盤となる言語モデル
数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
論文 参考訳(メタデータ) (2024-02-10T01:18:15Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳(メタデータ) (2023-12-22T19:55:58Z) - Learning To Teach Large Language Models Logical Reasoning [33.88499005859982]
大規模言語モデル(LLM)は、学術と産業の両方から大きな注目を集めている。
しかし、現在のLLMは、その固有の問題のために、実用的な推論タスクにおいて信頼性の低いコンテンツを出力している。
論文 参考訳(メタデータ) (2023-10-13T14:53:06Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。