論文の概要: MechELK: A Mechanistic Interpretability Framework for Eliciting Latent Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.28825v1
• Date: Tue, 07 Apr 2026 18:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.537965
• Title: MechELK: A Mechanistic Interpretability Framework for Eliciting Latent Knowledge in Large Language Models
• Title（参考訳）: MechELK:大規模言語モデルにおける潜在知識の緩和のための機械的解釈可能性フレームワーク
• Authors: Ji-jun Park, Soo-joon Choi, Jiwon Jeong, Taeyang Yoon, Ju-Wan Lee,
• Abstract要約: textbfMechELKは,潜伏知識の活用のための3段階統合フレームワークである。 MechELKは平均浸出精度84.7%で6.2%、直線型探査9.1%を上回っている。 重要なことに、MechELKは、モデル表面の出力が誤りまたは回避されている78.3%のケースにおいて、潜伏した知識を識別することに成功した。
• 参考スコア（独自算出の注目度）: 1.9573380763700712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) frequently encode factual and reasoning knowledge in their internal representations that is not faithfully reflected in their surface-level outputs -- a phenomenon known as \emph{latent knowledge}. Existing approaches to eliciting latent knowledge, such as Contrastive Consistency Search (CCS), rely on contrastive activation patterns and struggle with complex multi-step reasoning tasks, while mechanistic interpretability tools have primarily been used to \emph{understand} model behavior rather than to \emph{extract} hidden knowledge. We present \textbf{MechELK}, a unified three-stage framework that bridges mechanistic interpretability and latent knowledge elicitation. MechELK operates through: (1) \textbf{Locate} -- using Sparse Autoencoder (SAE) feature analysis and activation patching to identify knowledge-bearing representations; (2) \textbf{Verify} -- employing causal probing to distinguish genuine latent knowledge from spurious correlations; and (3) \textbf{Elicit} -- applying representation engineering to surface hidden knowledge without modifying model weights. Evaluated on TruthfulQA, a curated Deceptive Alignment benchmark, and the Quirky LM dataset, MechELK achieves an average elicitation accuracy of 84.7\%, outperforming CCS by 6.2\% and direct linear probing by 9.1\%. Crucially, MechELK successfully identifies latent knowledge in 78.3\% of cases where the model's surface output is incorrect or evasive, demonstrating its utility for AI safety applications including deceptive alignment detection.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、その内部表現において、その表面レベルの出力に忠実に反映されない事実的および推論的知識を符号化する。 Contrastive Consistency Search (CCS)のような潜在知識を引き出す既存のアプローチは、対照的なアクティベーションパターンに依存し、複雑な多段階推論タスクに苦労する。 本稿では,機械的解釈可能性と潜伏知識の導出を橋渡しする3段階統合フレームワークである「textbf{MechELK}」を提案する。 MechELKは、(1) \textbf{Locate} -- スパースオートエンコーダ(SAE)機能解析とアクティベーションパッチを使用して知識を含む表現を識別し、(2) \textbf{Verify} -- 真の潜伏的知識と刺激的な相関を区別するために因果的プローブを用いて、(3) \textbf{Elicit} -- モデル重みを変更することなく、表層的な隠れた知識に表現工学を適用する。 TruthfulQA、Curated Deceptive Alignmentベンチマーク、およびQuirky LMデータセットに基づいて評価され、MechELKは平均で84.7 %、CCSでは6.2 %、直接線形プローブでは9.1 %である。 重要なことに、MechELKは、モデルの表面出力が誤りまたは回避されている78.3 %のケースにおいて、潜伏した知識を識別し、認識的アライメント検出を含むAI安全アプリケーションにその有用性を示す。

関連論文リスト

• GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics [51.647572539626715]
  GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。 6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。 さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
  論文  参考訳（メタデータ） (2026-04-03T07:52:26Z)
• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
  本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。 提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
  論文  参考訳（メタデータ） (2026-01-15T16:28:14Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Language Models (Mostly) Know When to Stop Reading [24.246459354913146]
  大規模言語モデル(LLM)は、クエリに応答するために必要な情報がコンテキスト内にローカライズされた場合、入力コンテキスト全体を無差別に処理する。 タスク関連情報を取得する際に, LLM が自己決定処理を行うことのできる新しい手法である動的コンテキストカットオフを提案する。
  論文  参考訳（メタデータ） (2025-02-03T03:38:29Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。