論文の概要: Membership Inference Attacks on Sequence Models

• arxiv url: http://arxiv.org/abs/2506.05126v1
• Date: Thu, 05 Jun 2025 15:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.777221
• Title: Membership Inference Attacks on Sequence Models
• Title（参考訳）: シーケンスモデルに基づくメンバーシップ推論攻撃
• Authors: Lorenzo Rossi, Michael Aerni, Jie Zhang, Florian Tramèr,
• Abstract要約: LLM(Large Language Models)や自己回帰画像生成装置(Autoregressive Image Generators)のようなシーケンスモデルは、機密情報を暗記し、不注意に漏洩する傾向にある。 我々は、シーケンシャル・ジェネレーションに固有の相関を利用して、シーケンシャル・モデルにおける効果的にプライバシ・リークを測定する必要があると論じる。
• 参考スコア（独自算出の注目度）: 23.528760822574924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence models, such as Large Language Models (LLMs) and autoregressive image generators, have a tendency to memorize and inadvertently leak sensitive information. While this tendency has critical legal implications, existing tools are insufficient to audit the resulting risks. We hypothesize that those tools' shortcomings are due to mismatched assumptions. Thus, we argue that effectively measuring privacy leakage in sequence models requires leveraging the correlations inherent in sequential generation. To illustrate this, we adapt a state-of-the-art membership inference attack to explicitly model within-sequence correlations, thereby demonstrating how a strong existing attack can be naturally extended to suit the structure of sequence models. Through a case study, we show that our adaptations consistently improve the effectiveness of memorization audits without introducing additional computational costs. Our work hence serves as an important stepping stone toward reliable memorization audits for large sequence models.
• Abstract（参考訳）: LLM(Large Language Models)や自己回帰画像生成装置(Autoregressive Image Generators)のようなシーケンスモデルは、機密情報を暗記し、不注意に漏洩する傾向にある。 この傾向は、法的に重要な意味を持つが、既存のツールでは、結果として生じるリスクを監査するには不十分である。 これらのツールの欠点は、ミスマッチした仮定によるものである、という仮説を立てる。 したがって、シーケンシャルモデルにおいて、効果的にプライバシリークを測定するには、シーケンシャル・ジェネレーションに固有の相関を利用する必要がある。 これを説明するために、我々は、最先端のメンバシップ推論攻撃を、シーケンス内相関を明示的にモデル化するために適応し、これにより、シーケンスモデルの構造に適合するように、いかに強力な既存攻撃を自然に拡張できるかを示す。 ケーススタディを通じて、追加の計算コストを導入することなく、記憶監査の有効性を一貫して改善することを示す。 そこで本研究は,大規模シーケンスモデルに対する信頼性のある記憶監査に向けた重要な一歩として機能する。

関連論文リスト

• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 はじめに,デノナイジングネットワーク自体によって生成順序を予測できることを実証した。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Fighting Spurious Correlations in Text Classification via a Causal Learning Perspective [2.7813683000222653]
  本稿では,因果関係へのモデル依存を軽減するために,因果相関ロバスト (CCR) を提案する。 CCRは、逆確率重み付け(IPW)損失関数とともに、反ファクト推論に基づく因果的特徴選択法を統合する。 グループラベルを持たないメソッド間でのCCRの最先端性能を示し、場合によってはグループラベルを利用するモデルと競合する。
  論文  参考訳（メタデータ） (2024-11-01T21:29:07Z)
• Approximate learning of parsimonious Bayesian context trees [0.0]
  提案するフレームワークは、合成および実世界のデータ例に基づいてテストされる。 これは、実際のタンパク質配列やハニーポットコンピュータターミナルセッションに適合すると、既存のシーケンスモデルより優れている。
  論文  参考訳（メタデータ） (2024-07-27T11:50:40Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Representation Disentaglement via Regularization by Causal Identification [3.9160947065896803]
  本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。 そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
  論文  参考訳（メタデータ） (2023-02-28T23:18:54Z)
• Relating Regularization and Generalization through the Intrinsic Dimension of Activations [11.00580615194563]
  画像分類モデルにおける検証セットアクティベーションの最終層ID(LLID)を,共通正規化手法により均一に低減することを示す。 また、グルーキングを示すモデルのトレーニングの過程でLLIDについても検討する。
  論文  参考訳（メタデータ） (2022-11-23T19:00:00Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
  強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
  論文  参考訳（メタデータ） (2021-06-03T17:58:51Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。