論文の概要: MAPLE: A Multi-Axis Parametric Knowledge Extraction Lens for LLM Evaluation

• arxiv url: http://arxiv.org/abs/2610.19827v1
• Date: Wed, 14 Oct 2026 09:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.061447
• Title: MAPLE: A Multi-Axis Parametric Knowledge Extraction Lens for LLM Evaluation
• Title（参考訳）: MAPLE: LLM評価用多軸パラメトリック知識抽出レンズ
• Abstract要約: 我々は,知識抽出(KEE)技術がパラメトリック知識抽出にどのように影響するかを特徴付けるためのフレームワークであるMAPLEを紹介する。 我々は、復号化、アクティベーションステアリング、OLMo2、Qwen2.5、Llama3の3つのモデルファミリーにまたがる6つのKEE技術を評価した。 本分析では,KEEを総合的精度を超えて理解し,比較するためのMAPLEの価値を強調し,テクニック間の相違点とトレードオフを明らかにした。
• 参考スコア（独自算出の注目度）: 15.017650500234076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs absorb vast knowledge from training data, yet their inherently probabilistic nature offers no guarantee that this knowledge will surface in their outputs. To bridge this gap, Knowledge Extraction Enhancement (KEE) techniques such as activation steering, decoding adjustments, and prompting modify inference, potentially reinforcing existing predictions or surfacing less accessible answers. Yet their evaluations centered on aggregate accuracy, which obscures diverse effects by collapsing recovered failures and disrupted successes into a single score. We introduce MAPLE, a unified framework for characterizing how KEE techniques affect parametric knowledge extraction. Its diagnostic metrics disentangle these effects at the surface, probability, and beyond-sampling levels by measuring answer recovery and disruption, gold-token rank shifts on unrecovered failures, and recovery of answers missed by fixed-budget sampling. We evaluate six KEE techniques spanning decoding, activation steering, and prompting across three model families: OLMo2, Qwen2.5, and Llama3. Our analysis reveals distinct effects and trade-offs across techniques, highlighting the value of MAPLE for understanding and comparing KEE beyond aggregate accuracy.
• Abstract（参考訳）: LLMは訓練データから膨大な知識を吸収するが、その本質的に確率的な性質は、この知識が出力に現れる保証を与えない。 このギャップを埋めるために、アクティベーションステアリング、デコード調整、修正推論の促進、既存の予測の強化、あるいはアクセスしづらい回答の表出といった知識抽出強化(KEE)技術がある。 しかし、彼らの評価は集合的精度に重点を置いており、回復した失敗を崩壊させ、成功を1つのスコアに分解することで、様々な効果を曖昧にしている。 KEE手法がパラメトリック知識抽出にどのように影響するかを特徴付ける統一フレームワークであるMAPLEを紹介する。 その診断基準は、答えの回復と破壊、未発見の失敗に対する金色のランクシフト、固定予算サンプリングで見落とされた回答の回復などによって、これらの効果を表面、確率、およびサンプリングレベルに分散させる。 我々は、復号化、アクティベーションステアリング、OLMo2、Qwen2.5、Llama3の3つのモデルファミリーにまたがる6つのKEE技術を評価した。 本分析では,KEEを総合的精度を超えて理解し,比較するためのMAPLEの価値を強調し,テクニック間の異なる効果とトレードオフを明らかにした。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Don't Forget Your Embeddings: Robust Knowledge Erasure via Precise Editing of Embeddings [23.31466528406221]
  EMBedding ERasure (EMBER) は,Sparse Matrix Factorization を利用してトークン埋め込みから概念関連機能を正確に消去するプラグイン-n-play消去モジュールである。 EMBERによる既存手法の拡張により,タスクフォーマット間の消去効率と特異性が向上し,コヒーレンス損失が最小となることがわかった。 我々の研究は、ロバストな概念消去には正確な埋め込みレベルの介入が必要であることを証明し、既存の方法がそのような拡張の恩恵を受けることを実証する。
  論文  参考訳（メタデータ） (2026-06-02T14:15:25Z)
• Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2 [0.0]
  我々は,MAW誘導幅の刈り取りが選択フィルタとして機能し,行動アライメントを保ちつつパラメトリック知識を減少させることを示す。 プルーニングされた構成は、エネルギー消費(J/Token)を最大で23%削減するが、単一要求レイテンシで罰則が生じる。
  論文  参考訳（メタデータ） (2025-12-27T18:09:57Z)
• Capability Ceilings in Autoregressive Language Models: Empirical Evidence from Knowledge-Intensive Tasks [0.2538209532048866]
  知識集約型タスクにおけるデコーダのみの自己回帰言語モデルにおける機能天井の文書化を行う。 我々は、OPTおよびPythiaモデルファミリーの能力特異的スケーリング障害を定量化し、リソース割り当て決定を通知する。
  論文  参考訳（メタデータ） (2025-10-23T11:09:31Z)
• KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
  大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。 Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。 本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals [15.249261198557218]
  センサ信号の半教師付き異常検出は、スマート製造におけるシステムの信頼性確保に不可欠である。 本稿では,三重補足型因果強化学習モデル(Tri-CRLAD)を革新的に構築する。 7つのセンサ信号データセットに対する実験結果から、Tri-CRLADは9つの最先端のベースライン法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-11T06:10:05Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。