論文の概要: Sensitivity Inflation from Cross-Record Precision Routing in Private Quantized Fine-Tuning

• arxiv url: http://arxiv.org/abs/2611.01411v1
• Date: Sun, 01 Nov 2026 01:45:29 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:44:07.201504
• Title: Sensitivity Inflation from Cross-Record Precision Routing in Private Quantized Fine-Tuning
• Title（参考訳）: プライベート量子化微細チューニングにおけるクロスレコード精密ルーティングからの感度インフレーション
• Abstract要約: LLM.int8は、バッチ全体にわたってユニオンを用いて、アクティベーション列を高精度な経路にルーティングすることを示す。 得られた感度、状態レコードアイソレーション契約をバインドし、標準境界を満たすレコード所有のディスパッチを定義します。 探索的再クリッピング分析では、勾配がカットされると、64人の候補のうち10人が境界線の上にいることが分かった。
• 参考スコア（独自算出の注目度）: 2.0152814972022965
• License:
• Abstract: Private fine-tuning of large language models increasingly pairs DP-SGD with low-rank adapters on frozen, quantized backbones, and every such stack inherits one unstated premise: frozen layers keep each record's clipped gradient a function of that record alone. We show that LLM.int8 breaks this premise. It routes outlier activation columns to a higher-precision path using a union over the whole batch, so one record decides how every other record's activations are computed, even though the weights are frozen and the quantization scales are per row. We bound the resulting sensitivity inflation, state a record-isolation contract that restores the standard bound, and define record-owned precision dispatch that meets it with the same GEMMs as batched LLM.int8, so isolation needs no extra arithmetic. We then audit the native CUDA stack (bitsandbytes, PEFT, Opacus) against four matched controls. A constructed LoRA-Opacus witness reaches $15.0\times$ the add/remove bound. On pretrained OPT-125M with natural text, other records alter 20% of record-layer precision splits at batch size 16. An exploratory re-clipping analysis finds 10 of 64 candidate neighbors above the bound once every gradient is clipped; the top pair, revalidated natively, reaches $1.065C$ while every control stays within $C$, and forcing one layer's outlier mask removes the excess. A two-million-draw audit of the released adapters yields $\varepsilon$ lower bounds ($3.25$ at $δ=10^{-5}$) below the advertised guarantee ($4.38$). Resolving an excess this small at the release level would take about 200 times more draws, whereas checking the sensitivity contract directly exposes it in a few native runs, which makes contract checking the practical audit for private quantized training.
• Abstract（参考訳）: 大規模言語モデルのプライベートな微調整は、DP-SGDと、フリーズされた量子化されたバックボーン上の低ランクのアダプタとのペアをますます増加させ、そのようなスタックは、それぞれがレコードのクリッピングされた勾配をそのレコードの関数のみに保持する、という1つの非定型前提を継承する。 LLM.int8がこの前提を破ることを示す。 1つのレコードは、重みが凍結され、量子化スケールが行ごとであるにもかかわらず、他のレコードのアクティベーションがどのように計算されるかを決定する。 得られた感度インフレーションを束縛し、標準境界を復元するレコードアイソレーション契約を記述し、それをバッチ化されたLLM.int8と同じGEMMで満たすレコード所有の精度ディスパッチを定義する。 次に、マッチした4つのコントロールに対して、ネイティブCUDAスタック(bitsandbytes, PEFT, Opacus)を監査する。 構築されたLoRA-Opacus証人は15.0\times$add/removeboundに達する。 OPT-125Mを自然テキストで事前訓練すると、他のレコードはバッチサイズ16でレコード層分割の20%を変更した。 探索的な再クリッピング分析では、すべての勾配がクリッピングされると、64の候補の隣人のうち10人が境界の上にいて、トップペアはネイティブに値上げされ、すべてのコントロールがC$以内に留まっている間、1.065C$に達する。 リリースされたアダプタの200万ドルの監査は、宣伝された保証(4.38ドル)より低いバウンド($3.25ドル=$δ=10^{-5}$)を得る。 リリースレベルでこの小さな過大な問題を解決するには約200倍のドローが必要になるが、センシティブなコントラクトをチェックすると、いくつかのネイティブランで直接公開されるため、プライベートな量子化トレーニングの実践的な監査が契約によって行われる。

関連論文リスト

• TileSkipper: Region-Adaptive Tile Pruning for 3D Gaussian Splatting [60.48772713715659]
  TileSkipperは凍結チェックポイントに対して、ガウス単位の静的カットオフポリシーを選択する。 Mip-NeRF 360、Tants & Temples、Deep Blendingの13のシーンで、固定政治のAccuTileスイープは、標準解像度で1.088times$、幅で1.238times$3840Pixelsというデータセットとマクロのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-10-07T03:01:51Z)
• Scaling Zero-Order Pretraining through Model Sharding [23.669341805296924]
  ゼロオーダー最適化(ZO)はバックプロパゲーションのない列車であり、前方のみのハードウェアと非微分不能な損失に関係している。 SOMAは、同時摂動近似を使用して、N$のデータクラスタ上でLSTM専門家を独立に訓練する。 テスト対象のモノリシックなZO制御に対して,モデム推論によりトレーニング計算効率が向上することを示す。
  論文  参考訳（メタデータ） (2026-09-29T16:00:23Z)
• Counterfactual Probing for Parallel Unmasking with Hidden Forest Structure [50.58119214447535]
  マスク付き生成モデルは並列トークン予測を提供するが、正確な並列サンプリングはトークンを考慮しなければならない。 本研究は,発見を含む全評価がシーケンス長$N$のサブ線形であるかどうかを考察する。 本研究では, 森林構造を隠蔽した離散分布を, 固定された近似条件オラクルを通してアクセスする。
  論文  参考訳（メタデータ） (2026-09-29T15:39:50Z)
• PolicyAttention: Softmax Attention Implements Policy Mirror Descent for Closed-Loop Control [1.491109220586182]
  負のエントロピーポリシーミラー降下(PMD)は、ステートワイズで$operatornamePMD_(,Q)=operatornamesoftmax(log+Q)$を持つ。 我々は,アクター,ルーティング,サンプリング,正規化を明示した1ステップクリティカルプロトコルを1つの固定因果-ソフトマックスアクター-環境-構築し,それらを実際に返却された残留ポリシーに伝達する。
  論文  参考訳（メタデータ） (2026-09-24T19:37:25Z)
• Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots [9.539275654775706]
  大規模言語モデルの記憶は、形式的関係が不明な定義の動物園を通じて測定される。 差分プライバシー(DP)は,これらすべてに対して同時にプロキシとして扱われることを示す。
  論文  参考訳（メタデータ） (2026-08-27T23:28:08Z)
• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit [0.30586855806896046]
  古典的なペア化されたサンプルサイズ計算を量子化ベンチマークに適用する。 境界は「私の量子化の主張はどの程度信頼できるのか?」を1行の予算に転換する。 5行の事前登録テンプレートで境界を補完する。
  論文  参考訳（メタデータ） (2026-05-25T07:13:35Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。