論文の概要: Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective

• arxiv url: http://arxiv.org/abs/2609.21888v1
• Date: Fri, 18 Sep 2026 15:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.162987
• Title: Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective
• Title（参考訳）: 自由エネルギーから見た大規模言語モデルにおける事前学習データの検出
• Abstract要約: 予測エントロピーに対する予測損失を評価する傾斜境界を導入する。 分析の結果、エントロピー補正は、そのばらつきを低減しつつ、期待されるメンバー信号の保存が可能であり、これにより、非メンバー分離の標準化が向上することが示された。 エネルギー移動検出(ETD)は、平均的なAUROCを最大3.5%改善し、TPR@5%FPRを最大5.1%改善する。
• 参考スコア（独自算出の注目度）: 42.09998759118728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting pretraining data in large language models is challenging because high likelihood can reflect either training exposure or strong generalization. In the joint space of prediction loss and predictive entropy, a likelihood-only detector uses a horizontal boundary and can mistake predictable non-members for members. Motivated by this, we introduce an inclined boundary that evaluates prediction loss relative to predictive entropy. Our analysis shows that entropy correction can preserve the expected membership signal while reducing its variance, thereby improving standardized member--non-member separation. We further extend the mean--variance analysis to the more general setting with a nonzero mean entropy gap. Interestingly, this entropy-adjusted score admits a Helmholtz free-energy interpretation, leading to Energy Transfer Detection (ETD), which views pretraining data detection from a macroscopic residual free-energy transfer perspective. Extensive experiments show that ETD achieves the best average detection performance, improving average AUROC by up to 3.5\% and TPR@5\%FPR by up to 5.1\%, while remaining robust across diverse settings.
• Abstract（参考訳）: 大規模な言語モデルで事前学習データを検出することは、トレーニングの露出や強い一般化を反映できるため、難しい。 予測損失と予測エントロピーの合同空間では、確率のみの検出器は水平境界を使用し、メンバーの予測不可能な非メンバーを誤認することができる。 そこで我々は,予測エントロピーに対する予測損失を評価する傾斜境界を導入する。 分析の結果、エントロピー補正は、そのばらつきを低減しつつ、期待されるメンバー信号の保存が可能であり、これにより、非メンバー分離の標準化が向上することが示された。 非零平均エントロピーギャップを持つより一般的な設定に、平均分散解析をさらに拡張する。 興味深いことに、このエントロピー調整されたスコアはヘルムホルツ自由エネルギー解釈を認めており、マクロ的な残留自由エネルギー移動の観点から事前学習データ検出を行うETD(Energy Transfer Detection)に繋がる。 大規模な実験により、ETDは最高の平均検出性能を達成し、平均AUROCを3.5 %改善し、TPR@5 %FPRを5.1 %改善した。

関連論文リスト

• Fourier Preconditioning for Neural Feature Learning [21.952441303074348]
  相互情報(MI)にインスパイアされた特徴学習技術は、非線形依存構造を保持する低次元の埋め込みを生成することができる。 H-Scoreの目標は、2階統計から計算され、特徴抽出ネットワークを訓練するための実用的なプロキシ指標を提供する。 H-Scoreネットワークのユニタリプレコンディショニングについて検討し、適切なベースローテーションを選択することで、有限幅のトランケーション誤差を低減できることを示す。
  論文  参考訳（メタデータ） (2026-07-02T14:07:15Z)
• Ensemble Score Filtering for Real-Data Energy Consumption Forecast Correction [11.027420128235903]
  実エネルギー消費データに対する高次元データ同化問題について検討する。 本研究ではEnsemble Score Filter(EnSF)を用いて,部分的および雑音的な観測を同化し,時間とともに予測軌道を補正する。
  論文  参考訳（メタデータ） (2026-05-27T20:27:38Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
  コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。 我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
  論文  参考訳（メタデータ） (2023-05-23T17:24:04Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。