論文の概要: What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document

• arxiv url: http://arxiv.org/abs/2610.04128v1
• Date: Fri, 02 Oct 2026 22:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:59:26.973859
• Title: What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document
• Title（参考訳）: 分割言語モデルにおけるテキスト漏洩へのグラディエントの追加、トークンごとのカウント、ドキュメントごとのドキュメント
• Abstract要約: 分割学習は、クライアントがテキストを送信することなく、サーバー上で言語モデルをトレーニングすることを可能にする。 このトラフィックから、スプリットのオブザーバがクライアントのテキストのほとんどを再構築できることを示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split learning lets a client train a language model on a server without sending its text. The client runs the first layers itself and sends the server only their output, a vector of numbers for each token. During training, the server sends gradients back. We show that an observer at the split can rebuild most of the client's text from this traffic, and we measure how much the gradients help. On GPT-2, an attacker who holds only the publicly released weights of the client's layers recovers 94.20% of tokens from the activations alone and 97.38% when it also sees the gradients, 3.17 percentage points more 95% interval [2.72, 3.64]. Counted by document, the difference is much larger. The attacker rebuilds 13.71% of 32-token documents exactly without the gradients and 37.77% with them, because a document only counts when every token is right. How we count also changes how good a defence looks. Secret mixup, which blends each outgoing vector with a decoy, stops the attacker from rebuilding almost any document exactly, yet the attacker still recovers 83-91% of tokens. In a second experiment on GPT-2 and Qwen3-0.6B, where the server trains only a run of consecutive layers, the layer at which the run starts changes both model quality and leakage, even when the run's length is fixed. We recommend reporting leakage both per token and per document, and treating what a split model sends as being as sensitive as the text itself.
• Abstract（参考訳）: 分割学習は、クライアントがテキストを送信することなく、サーバー上で言語モデルをトレーニングすることを可能にする。 クライアントは最初のレイヤ自身を実行し、各トークンの数値ベクトルである出力のみをサーバに送信する。 トレーニング中、サーバはグラデーションを返送する。 スプリットのオブザーバがこのトラフィックからクライアントのテキストの大部分を再構築できることを示し、グラデーションがどれだけ役立つかを測定します。 GPT-2では、クライアントのレイヤーの公開重みのみを保持する攻撃者が、アクティベーションのみから94.20%のトークンを回収し、勾配を見ると97.38%、95%のインターバル(2.72, 3.64)を3.17ポイント上回る。 文書で表すと、その差はずっと大きい。 攻撃者は、32トークンの文書の13.71%を勾配なしで正確に再構築し、37.77%は、すべてのトークンが正しいときにのみ記録する。 私たちがどう数えるかは、防衛がいかに良く見えるかも変えます。 それぞれの出力ベクタとデコイを混合したシークレットミックスアップは、攻撃者がほぼすべてのドキュメントを正確に再構築するのを阻止するが、攻撃者は83-91%のトークンを回復する。 GPT-2とQwen3-0.6Bの2番目の実験では、サーバは連続した層のみを訓練し、ランが開始する層は、ランの長さが固定された場合でも、モデルの品質とリークの両方を変化させる。 トークン単位とドキュメント単位のリークを報告し、分割モデルが送信するものをテキスト自体と同じくらいセンシティブなものとして扱うことを推奨する。

関連論文リスト

• TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving [7.926191097327915]
  コーディングエージェントは、最も多くを支払う:セッションは、小さな追加の後、繰り返し長い書き起こしを提出する。 TokTierは、この2モードのワークロードのためのステートフルなCPU+GPUトークンサービスである。
  論文  参考訳（メタデータ） (2026-07-31T17:56:30Z)
• Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
  DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。 LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。 12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
  論文  参考訳（メタデータ） (2026-06-17T07:44:04Z)
• A Simple Linear Patch Revives Layer-Pruned Large Language Models [58.056251480151104]
  大規模言語モデル(LLM)の圧縮技術として広く使われているレイヤプルーニング(Layer pruning)が登場している。 textscLinearPatchはプルーニングインターフェイスで2つの操作を1つの行列に乗算する。 パッチはメモリ効率の悪いオフライン蒸留によって5Kの未ラベルのサンプルでさらに洗練され、1つのGPUでわずか30分で95.16%に保留できる。
  論文  参考訳（メタデータ） (2025-05-30T15:06:08Z)
• Token Pruning using a Lightweight Background Aware Vision Transformer [0.6856888934092934]
  トークンプルーニングは、各トークンの重要基準に基づいて、ViTへの入力トークンの数を減少させる。 バックグラウンドトークンは、ViTベースのオブジェクト検出器に供給する前に、完全にまたは部分的にプルーニングすることができる。 また,YOLOSのプリプロセッサとして2層BAViT-小モデルを用いて,mAPを3%減少させることなく,スループットを30% - 40%向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-10-12T01:44:54Z)
• DAGER: Exact Gradient Inversion for Large Language Models [10.998375857698496]
  フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで機能する。 これまでの研究では、いわゆるグラディエント・インバージョン・アタックを使用して、データをサーバによって実際に回収できることが示されていた。 入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。
  論文  参考訳（メタデータ） (2024-05-24T14:14:24Z)
• Cutting through buggy adversarial example defenses: fixing 1 line of code breaks Sabre [64.55144029671106]
  SabreはIEEE S&P 2024で受け入れられた敵の例に対する防御である。 まず,勾配マスキングの明確な兆候を示す評価の重大な欠陥を明らかにする。 次に、このマスキング勾配の原因を示す:元の評価コードにバグがある。
  論文  参考訳（メタデータ） (2024-05-06T17:48:24Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• Parsing as Pretraining [13.03764728768944]
  まず、コンストラクタと依存性解析をシーケンスタグとしてキャストする。 次に、単一のフィードフォワード層を使用して、ワードベクトルを線形化された木をエンコードするラベルに直接マッピングする。
  論文  参考訳（メタデータ） (2020-02-05T08:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。