論文の概要: MechELK: A Mechanistic Interpretability Framework for Eliciting Latent Knowledge in Large Language Models
- arxiv url: http://arxiv.org/abs/2605.28825v1
- Date: Tue, 07 Apr 2026 18:05:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.537965
- Title: MechELK: A Mechanistic Interpretability Framework for Eliciting Latent Knowledge in Large Language Models
- Title（参考訳）: MechELK:大規模言語モデルにおける潜在知識の緩和のための機械的解釈可能性フレームワーク
- Abstract要約: textbfMechELKは,潜伏知識の活用のための3段階統合フレームワークである。
MechELKは平均浸出精度84.7%で6.2%、直線型探査9.1%を上回っている。
重要なことに、MechELKは、モデル表面の出力が誤りまたは回避されている78.3%のケースにおいて、潜伏した知識を識別することに成功した。
- 参考スコア（独自算出の注目度）: 1.9573380763700712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) frequently encode factual and reasoning knowledge in their internal representations that is not faithfully reflected in their surface-level outputs -- a phenomenon known as \emph{latent knowledge}. Existing approaches to eliciting latent knowledge, such as Contrastive Consistency Search (CCS), rely on contrastive activation patterns and struggle with complex multi-step reasoning tasks, while mechanistic interpretability tools have primarily been used to \emph{understand} model behavior rather than to \emph{extract} hidden knowledge. We present \textbf{MechELK}, a unified three-stage framework that bridges mechanistic interpretability and latent knowledge elicitation. MechELK operates through: (1) \textbf{Locate} -- using Sparse Autoencoder (SAE) feature analysis and activation patching to identify knowledge-bearing representations; (2) \textbf{Verify} -- employing causal probing to distinguish genuine latent knowledge from spurious correlations; and (3) \textbf{Elicit} -- applying representation engineering to surface hidden knowledge without modifying model weights. Evaluated on TruthfulQA, a curated Deceptive Alignment benchmark, and the Quirky LM dataset, MechELK achieves an average elicitation accuracy of 84.7\%, outperforming CCS by 6.2\% and direct linear probing by 9.1\%. Crucially, MechELK successfully identifies latent knowledge in 78.3\% of cases where the model's surface output is incorrect or evasive, demonstrating its utility for AI safety applications including deceptive alignment detection.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、その内部表現において、その表面レベルの出力に忠実に反映されない事実的および推論的知識を符号化する。
Contrastive Consistency Search (CCS)のような潜在知識を引き出す既存のアプローチは、対照的なアクティベーションパターンに依存し、複雑な多段階推論タスクに苦労する。
本稿では,機械的解釈可能性と潜伏知識の導出を橋渡しする3段階統合フレームワークである「textbf{MechELK}」を提案する。
MechELKは、(1) \textbf{Locate} -- スパースオートエンコーダ(SAE)機能解析とアクティベーションパッチを使用して知識を含む表現を識別し、(2) \textbf{Verify} -- 真の潜伏的知識と刺激的な相関を区別するために因果的プローブを用いて、(3) \textbf{Elicit} -- モデル重みを変更することなく、表層的な隠れた知識に表現工学を適用する。
TruthfulQA、Curated Deceptive Alignmentベンチマーク、およびQuirky LMデータセットに基づいて評価され、MechELKは平均で84.7 %、CCSでは6.2 %、直接線形プローブでは9.1 %である。
重要なことに、MechELKは、モデルの表面出力が誤りまたは回避されている78.3 %のケースにおいて、潜伏した知識を識別し、認識的アライメント検出を含むAI安全アプリケーションにその有用性を示す。
関連論文リスト
- From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning [16.56504142773247]
既存のエンド・ツー・エンドの手法は、知識の引用と推論を結びつけるため、パラメトリックな知識や入力コンテキストから正しい答えが生じるかどうかを判断することは困難である。
VAKEは2段階の強化学習フレームワークで、暗黙のプライミングによって潜在パラメトリック知識を外部化し、取得した推論能力を暗黙の推論に転送する。
プライミングで学んだポリシーに基づいて、推論ステージはモデルに元の入力からの応答を訓練し、明示的な知識の引用によって得られた能力が暗黙の推論に移行するかどうかをテストする。
論文 参考訳（メタデータ） (2026-08-19T06:20:34Z) - Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing [6.399286079325182]
知識追跡は、歴史相互作用から進化する知識状態をモデル化することで、学生の将来のパフォーマンスを予測することを目的としている。
我々は,学生のインタラクションを能力と熟練度に分解するKTフレームワークPAKTを提案する。
提案手法は, AUCが最大1.33%, 平均0.82%, 代表ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-14T09:11:59Z) - From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents [69.07911499189129]
エージェントのメタ認知判断(Knowing)を自発的実行(Acting)から切り離して認知行動アライメントを評価するフレームワークであるKAPROを紹介する。
実験の結果,自己認識能力はタスク成功と強く相関するが,内部能力設定では著しく低下することがわかった。
プロプライエタリで推論指向のモデルは、より信頼性の高い認知ゲーティングを示します。
論文 参考訳（メタデータ） (2026-06-09T17:17:08Z) - GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics [51.647572539626715]
GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。
6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。
さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
論文 参考訳（メタデータ） (2026-04-03T07:52:26Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Know More, Know Clearer: A Meta-Cognitive Framework for Knowledge Augmentation in Large Language Models [80.21037538996553]
本稿では,異なる介入とアライメントによる信頼度向上のための新しいメタ認知フレームワークを提案する。
我々の手法は、知識空間をマスターされた、混乱した、行方不明な領域に分割し、対象とする知識拡大を導くために、内部認知信号を活用する。
我々のフレームワークは、知識能力の向上だけでなく、未知の知識をよりよく区別する認知行動の育成においても、その合理性を検証し、強いベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-02-13T15:07:35Z) - Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。
提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
論文 参考訳（メタデータ） (2026-01-15T16:28:14Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - Language Models (Mostly) Know When to Stop Reading [24.246459354913146]
大規模言語モデル(LLM)は、クエリに応答するために必要な情報がコンテキスト内にローカライズされた場合、入力コンテキスト全体を無差別に処理する。
タスク関連情報を取得する際に, LLM が自己決定処理を行うことのできる新しい手法である動的コンテキストカットオフを提案する。
論文 参考訳（メタデータ） (2025-02-03T03:38:29Z) - KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。
明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。
特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2024-12-06T11:08:24Z) - Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳（メタデータ） (2024-06-19T21:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。