論文の概要: From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models

• arxiv url: http://arxiv.org/abs/2610.41445v1
• Date: Fri, 30 Oct 2026 08:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.665369
• Title: From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models
• Title（参考訳）: 表現から読み出しへ:言語モデルにおけるメンバーシップ信号の力学解析
• Abstract要約: 大規模言語モデル(LLM)におけるメンバシップ信号の力学的研究について述べる。 本稿では,Decodable Information Score,Used Information Score,Readout Gap Gap(DUG)について紹介する。 教師付き微調整 (SFT) と強化学習 (RL) に基づく会員推定法全体において, 会員固有の効果は, 復調可能な情報量と読み出し量の両方に現れる。
• 参考スコア（独自算出の注目度）: 25.050247946000777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Membership inference aims to determine whether a particular example was included in a model's training data. Such membership signals are often broadly described as memorization, while the underlying mechanisms can involve both how information is represented internally and how it is accessed by the model to produce behaviors. We therefore present a mechanistic study of membership signals in large language models (LLMs). We introduce Decodable Information Score, Used Information Score, and Readout Accessibility Gap (DUG), a set of complementary measures that separately quantify membership information decodable from internal representations and the extent to which it is exposed through the model's readout. Across supervised fine-tuning (SFT) and reinforcement learning (RL)-based membership inference methods, membership-specific effects appear in both the amount of decodable information and readout under SFT, while under RL-based membership inference methods they appear primarily in readout. Activation patching further localizes this membership-specific effect to intermediate layers. To examine whether these findings extend to a more general RL setting, we further study reinforcement learning with verifiable rewards (RLVR) contamination, where the training reward is independent of the reference solution. In this setting, we find that behavioral changes can emerge without a corresponding increase in likelihood-based membership inference signals.
• Abstract（参考訳）: メンバーシップ推論は、特定のサンプルがモデルのトレーニングデータに含まれるかどうかを決定することを目的としている。 このようなメンバーシップ信号は、しばしば記憶として記述されるが、その基盤となるメカニズムは、情報が内部的にどのように表現されるか、モデルによってどのようにアクセスされ行動が生成されるかの両方に関係している。 そこで我々は,大規模言語モデル (LLM) におけるメンバシップ信号の力学的研究を行った。 本稿では、内部表現からデオード可能なメンバーシップ情報と、モデルが読み出しを通じて露出する範囲を別々に定量化する、デオードブル情報スコア、使用情報スコア、読み出しアクセシビリティギャップ(DUG)について紹介する。 教師付き微調整(SFT)と強化学習(RL)に基づくメンバシップ推論(RL)全体において、メンバーシップ固有の効果は、SFTの下でのデオード可能な情報量と読み出し量の両方に現れるが、RLに基づくメンバシップ推論では、主に読み出しに現れる。 活性化パッチは、このメンバーシップ固有の効果を中間層にさらに局所化する。 これらの知見がより一般的なRL設定にまで拡張されるかどうかを調べるため、トレーニング報酬が基準解とは無関係な、検証可能な報酬(RLVR)汚染による強化学習をさらに研究する。 この設定では、確率に基づくメンバーシップ推定信号の増加を伴わずに行動変化が生じる可能性がある。

関連論文リスト

• G-Drift MIA: Membership Inference via Gradient-Induced Feature Drift in LLMs [1.8986796884429726]
  メンバーシップ推論攻撃(MIA)は、トレーニング中に特定の例が使用されたかどうかを判断することを目的としている。 G-Drift MIAは,勾配誘起特徴量ドリフトに基づくホワイトボックスメンバシップ推論手法である。 G-Driftは信頼性ベース、パープレキシティベース、参照ベースアタックを大きく上回る。
  論文  参考訳（メタデータ） (2026-04-01T03:01:27Z)
• Auditing Language Model Unlearning via Information Decomposition [68.48660428111593]
  部分的情報分解(PID)を用いたアンラーニング監査のための解釈可能な情報理論フレームワークを提案する。 非学習前後のモデル表現を比較することにより、相互情報と忘れられたデータとを別個の構成要素に分解し、未学習および残留知識の概念を定式化する。 我々の研究は、言語モデルのより安全なデプロイのための理論的洞察と実行可能なツールを提供する、アンラーニングのための原則付き表現レベル監査を導入している。
  論文  参考訳（メタデータ） (2026-01-21T15:51:19Z)
• Neural Breadcrumbs: Membership Inference Attacks on LLMs Through Hidden State and Attention Pattern Analysis [9.529147118376464]
  メンバーシップ推論攻撃(MIA)は、特定のデータが機械学習モデルのトレーニングに使用されたかどうかを明らかにする。 我々の研究は、内部表現を単に出力ではなく検査することで、メンバーシップ推論信号に対するさらなる洞察を与えることができるかを探る。 本研究は,出力に基づく信号が保護された場合でも,内部モデル行動がトレーニングデータの露出の側面を明らかにすることを示唆している。
  論文  参考訳（メタデータ） (2025-09-05T19:05:49Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  本稿ではReCaLL(Relative Conditional Log-Likelihood)を提案する。 実験の結果,非メンバープレフィックスの条件付きメンバーデータは,非メンバーデータと比較してログライクな傾向が著しく低下することがわかった。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。