論文の概要: Unveiling LLMs: The Evolution of Latent Representations in a Temporal Knowledge Graph
- arxiv url: http://arxiv.org/abs/2404.03623v1
- Date: Thu, 4 Apr 2024 17:45:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 13:52:38.986971
- Title: Unveiling LLMs: The Evolution of Latent Representations in a Temporal Knowledge Graph
- Title(参考訳): LLMの展開: 時間的知識グラフにおける潜在表現の進化
- Authors: Marco Bronzini, Carlo Nicolini, Bruno Lepri, Jacopo Staiano, Andrea Passerini,
- Abstract要約: 大規模言語モデル(LLM)は、幅広い事実知識情報を思い出すための印象的な能力を示している。
LLMの潜伏空間に埋め込まれた事実知識を共同で復号するエンド・ツー・エンドのフレームワークを提案する。
本稿では,2つのクレーム検証データセットを用いた局所的および大域的解釈可能性分析を行った。
- 参考スコア(独自算出の注目度): 15.129079475322637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) demonstrate an impressive capacity to recall a vast range of common factual knowledge information. However, unravelling the underlying reasoning of LLMs and explaining their internal mechanisms of exploiting this factual knowledge remain active areas of investigation. Our work analyzes the factual knowledge encoded in the latent representation of LLMs when prompted to assess the truthfulness of factual claims. We propose an end-to-end framework that jointly decodes the factual knowledge embedded in the latent space of LLMs from a vector space to a set of ground predicates and represents its evolution across the layers using a temporal knowledge graph. Our framework relies on the technique of activation patching which intervenes in the inference computation of a model by dynamically altering its latent representations. Consequently, we neither rely on external models nor training processes. We showcase our framework with local and global interpretability analyses using two claim verification datasets: FEVER and CLIMATE-FEVER. The local interpretability analysis exposes different latent errors from representation to multi-hop reasoning errors. On the other hand, the global analysis uncovered patterns in the underlying evolution of the model's factual knowledge (e.g., store-and-seek factual information). By enabling graph-based analyses of the latent representations, this work represents a step towards the mechanistic interpretability of LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、幅広い事実知識情報を思い出すための印象的な能力を示している。
しかし、LLMの根底にある理由を解明し、これらの事実的知識を活用するための内部メカニズムを説明することは、研究の活発な領域に留まっている。
我々の研究は、事実的クレームの真偽を評価するよう促されたLLMの潜在表現に符号化された事実的知識を分析する。
本稿では,LLMの潜在空間に埋め込まれた事実知識をベクトル空間から基底の集合に共同で復号し,時間的知識グラフを用いて各層を横断する進化を表現したエンドツーエンドフレームワークを提案する。
本フレームワークは,モデルの推論計算に係わるアクティベーションパッチの手法に依存し,その潜在表現を動的に変更する。
その結果、私たちは外部モデルやトレーニングプロセスに依存していません。
本稿では,FEVERとCLIMATE-FEVERという2つのクレーム検証データセットを用いて,局所的およびグローバルな解釈可能性分析を行った。
局所的解釈可能性解析は、表現からマルチホップ推論エラーまで、様々な潜時誤差を露呈する。
一方、グローバル分析では、モデルの事実知識(例えば、保存と検索の事実情報)の根本的な進化のパターンが明らかになった。
グラフに基づく潜在表現の分析を可能にすることにより、この研究はLLMの機械的解釈可能性への一歩となる。
関連論文リスト
- LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。
文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。
この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文 参考訳(メタデータ) (2024-04-09T13:08:56Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。
本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
論文 参考訳(メタデータ) (2024-02-16T13:46:06Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - On the Semantics of LM Latent Space: A Vocabulary-defined Approach [32.178931149612644]
本稿では,LM潜在空間内で参照フレームを確立する語彙定義セマンティクスを提案する。
我々のアプローチは、モデル中心の洞察にLM語彙を活用する、事前の絡み合った分析を超越する。
また,ロジットを計算し,微分可能性や局所等方性を重視した新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-29T14:29:48Z) - From Understanding to Utilization: A Survey on Explainability for Large
Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文 参考訳(メタデータ) (2024-01-23T16:09:53Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳(メタデータ) (2023-12-22T19:55:58Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。