論文の概要: Reducing Logprob Without Causal Verification: Diagnosing SAE-Based PII Suppression in LLMs

• arxiv url: http://arxiv.org/abs/2611.04782v1
• Date: Tue, 03 Nov 2026 12:22:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:58:47.974869
• Title: Reducing Logprob Without Causal Verification: Diagnosing SAE-Based PII Suppression in LLMs
• Title（参考訳）: 因果検証を伴わないログプロブ低減:LDMにおけるSAEによるPII抑制の診断
• Abstract要約: 対数確率の低減は,特徴特異的な抑制と大きさのアーティファクトを区別できないことを示す。 36例(モデル, 層, PII型)を対象に, 選択したSAE機能介入とコヒーレンス整合ランダム方向制御を比較した。 NLPのための新たな研究ミッションとして,回路レベルの局在化と因果媒介分析による因果基底PII抑制を提案する。
• 参考スコア（独自算出の注目度）: 3.852357340211482
• License:
• Abstract: SAE-based feature-level interventions to suppress PII leakage in LLMs are primarily evaluated by log-probability reduction. We show that this criterion cannot distinguish feature specific suppression from a magnitude artifact: a direction-agnostic effect of sufficiently large activation perturbations. Across 36 (model, layer, PII type) cases, we compare selected SAE feature interventions with coherencematched random direction controls using logprob and rank-aware metrics. While 17 cases (47%) appear successful under logprob-only evaluation, only 1 case (2.8%) passes our multimetric framework. The rest reveal two failure modes: random directions outperform selected features, and feature selection collapse across PII types. These results indicate that existing evaluations cannot verify whether interventions target causal pathways of PII leakage. A 9,000 run causal mediation feasibility study corroborates this: the verifier separates candidates reliably, but correlation-selected candidates rarely pass it. We therefore propose a new research mission for NLP: causally grounded PII suppression through circuit-level localization and causal mediation analysis.
• Abstract（参考訳）: LLMのPIIリークを抑制するためのSAEベースの機能レベルの介入は、ログ確率の低減によって主に評価される。 この基準は, 十分に大きな活性化摂動の方向依存効果である, 大きさのアーチファクトと特徴特異的抑制を区別できないことを示す。 36例 (モデル, 層, PII型) を対象に, 選択したSAE機能介入と, logprob および rank-aware 測定値を用いたコヒーレンス整合ランダム方向制御との比較を行った。 ログプロブのみの評価で17例 (47%) が成功したが、1例 (2.8%) のみが我々のマルチメトリック・フレームワークを通過した。 残りの2つの障害モードは、ランダムな方向が選択された特徴より優れており、PIIタイプで特徴選択が崩壊する。 これらの結果から,既存の評価では,PII漏出の因果経路に対する介入の検証は不可能であることが示唆された。 9000件に及ぶ因果仲裁の実施可能性に関する調査は、これを裏付けるものである: 検証者は、候補を確実に分離するが、相関選択された候補がそれを通過することは滅多にない。 そこで我々は,NLPのための新たな研究ミッションとして,回路レベルの局在化と因果媒介分析による因果的なPII抑制を提案する。

関連論文リスト

• Overwhelmed by Choice: Studying LLM Decision Making at Scale [70.45144023754595]
  候補数の増加に伴い,複数選択および候補選択の評価を体系的に評価した。 タスク間での相当な精度劣化、戦略の推進、モデルスケールが見られます。 階層分割と置換に基づく推論は、HotpotQAとMIMICで約20パーセントの精度をN=160$で向上する。
  論文  参考訳（メタデータ） (2026-09-26T17:33:04Z)
• A Few Neurons Reveal When LLMs Misuse Tools: Sparse Detection and Selective Steering for Reliable Tool Use [28.57781785937644]
  PRISMS(Probing Representations In Support of Monitoring and Steering)は,スパース検出とアクティベーションの間に障害特異的ニューロンベースを共有するクローズループフレームワークである。 6つのモデル全体で、PRISMSはプールされたオーバーコール率を80%削減し、ツール要求の精度を14.2%向上させた。
  論文  参考訳（メタデータ） (2026-07-31T19:03:44Z)
• From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models [0.2230291569252836]
  本研究では,Mixture-of-Experts (MoE) プルーニングにおけるルーティング統計の利用について検討する。 あらゆるモデルにおいて因果的専門家の重要性を予測する観察的指標は見つからない。 以上の結果から, 人口レベルの観察結果から, 専門家の重要度に関するトークンレベルの介入主張まで, 共通の推論段階に対する明確な反例が得られた。
  論文  参考訳（メタデータ） (2026-06-09T11:04:19Z)
• When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
  我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。 私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。 本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:57:43Z)
• Proactive for Uncertainty: Cause-Aware Error Diagnosis and Interactive Clarification for Spoken Dialogue Systems [40.265250435329456]
  本稿では,SDSにおけるロバスト性を根本的に再考する原因認識型エラー回復パラダイムを提案する。 従来の信頼度フィルタリングとは異なり、我々は小さな精度に焦点を絞った検出器群を導入している。 この微細な診断知能は、LLMがターゲットとするマルチターンの明確化戦略を編成する権限を与える。
  論文  参考訳（メタデータ） (2026-05-25T03:57:38Z)
• Beyond Behavioural Trade-Offs: Mechanistic Tracing of Pain-Pleasure Decisions in an LLM [0.0]
  以前の研究は、一部のLCMは、選択肢が痛みや快楽を引き起こすものとしてフレーム化されているときに選択を変更でき、そのような偏差は、記述された強度でスケール可能であることを示唆している。 本研究では, 変圧器内における原子価関連情報がどのように表現され, どこで因果的に使用されるかを検討する。 Gemma-2-9B-itと、前処理をモデルとした最小限の決定タスクを用いて、(i)ストリームを横断する層ワイドな線形プローブを用いて、表現の可用性をマップする。 我々は,活性化介入(ステアリング,パッチ,アブレーション)による因果的寄与を検証し,(iii)エプシロングリッド上での線量応答効果を定量化する。
  論文  参考訳（メタデータ） (2026-02-22T12:42:38Z)
• Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
  Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。 異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。 この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
  論文  参考訳（メタデータ） (2024-07-20T12:42:24Z)
• Plugin estimators for selective classification with out-of-distribution detection [67.28226919253214]
  現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。 これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。 OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。 本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2023-01-29T07:45:17Z)
• Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes [65.91730154730905]
  医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。 ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。 我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
  論文  参考訳（メタデータ） (2021-10-28T17:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。