論文の概要: Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller

• arxiv url: http://arxiv.org/abs/2610.18294v1
• Date: Tue, 13 Oct 2026 12:42:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.612363
• Title: Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller
• Title（参考訳）: どのオプティマイザが最もリークしたのか?オプティマイザはトレーニングデータプライバシコントローラとしてバイアスを含ませる
• Abstract要約: 我々は、人気者(SGD、Adam、Muon)の暗黙の偏見が、トレーニングデータの全く異なる指紋を残すことを示した。 MNISTとCIFAR-10の実験はこれらの主張を支持している。
• 参考スコア（独自算出の注目度）: 14.19557825752193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Releasing a neural network checkpoint can leak information about its training data, and existing reconstruction results rely on gradient-descent training. We ask whether the choice of optimizer affects the ability to recover the training data. Extending work connecting Karush--Kuhn--Tucker conditions to training-data reconstruction, we show that the implicit biases of popular optimizers (SGD, Adam, Muon) leave very different fingerprints of the training data. We argue that the key distinction is the \emph{weight-specificity} of these implicit biases, namely how much continuous information about the final weights the optimizer-dependent target of the stationarity conditions encodes. The limiting stationarity conditions for models trained with SGD and Muon retain enough weight-specific information to reconstruct training examples in practice. For Adam in the $\ell_\infty$ implicit-bias regime, the optimizer-dependent part of these conditions encodes only a discrete pattern of maximal coordinates and their signs, and at nondegenerate KKT points the conditions are too few to identify the training set to first order. Experiments on MNIST and CIFAR-10 support these claims: models trained with Muon can yield stronger reconstructions at much lower training cost than models trained with SGD, although this advantage depends on the training regime and architecture, and models trained with Adam appear consistently more resistant to the evaluated attacks.
• Abstract（参考訳）: ニューラルネットワークのチェックポイントのリリースは、トレーニングデータに関する情報を漏洩させる可能性がある。 我々は、オプティマイザの選択がトレーニングデータの回復に影響を及ぼすかどうかを問う。 Karush--Kuhn-Tucker条件をトレーニングデータ再構成に結びつけることで、一般的なオプティマイザ(SGD、Adam、Muon)の暗黙のバイアスがトレーニングデータの全く異なる指紋を残すことを示す。 我々は、これらの暗黙バイアスの「emph{weight-specificity」、すなわち、最終重みに関する連続的な情報が、定常条件のオプティマイザ依存的な目標をエンコードするかどうかを論じる。 SGD と Muon で訓練されたモデルの定常性条件は、実際には訓練例を再構築するのに十分な量の情報を保持する。 アダムは、$\ell_\infty$ implicit-bias 体制において、これらの条件のオプティマイザ依存部分は極大座標とその記号の離散パターンのみを符号化し、非退化KKT では、条件は、一階のトレーニングセットを特定するには小さすぎる。 MNISTとCIFAR-10の実験は、これらの主張を支持している: ムーンで訓練されたモデルは、SGDで訓練されたモデルよりもはるかに低い訓練コストで、より強力な再構築が得られる。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations [46.963298896594814]
  トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。 ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。 活性化空間におけるトレーニングデータの機能的効果をモデル化する。
  論文  参考訳（メタデータ） (2026-06-03T17:59:36Z)
• Learning to Reason with Curriculum I: Provable Benefits of Autocurriculum [44.56791874493398]
  本稿では,教師付き微調整学習と強化学習の両方において,モデルが独自のパフォーマンスを用いてトレーニングに集中すべき問題を決定するオートカリキュラムについて述べる。 SFTでは,教師の指導を現在のモデルが苦しむプロンプトに焦点を合わせることで,非適応的な微調整よりも指数関数的に推論デモを少なくすることを示した。 RLファインチューニングでは、オートキュリキュラムは参照モデルの品質から計算コストを分離し、後者を目標精度にほぼ依存しないバーンインコストに削減する。
  論文  参考訳（メタデータ） (2026-03-18T22:17:22Z)
• Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice [109.9635246405237]
  データ品質に関する実験結果が、ハイパーパラメータのトレーニングに微調整を加えることで、反転できることを示す。 評価プロトコルに簡単なパッチを導入し、プロキシモデルのトレーニングに学習率を削減した。 実験により,データキュレーションの4つの重要な次元をカバーする23種類のデータレシピに対して,このアプローチを検証した。
  論文  参考訳（メタデータ） (2025-12-30T23:02:44Z)
• Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning [19.677969862434708]
  本稿では,データ選択と再重み付けのための理論的に基礎的,資源効率のよいフレームワークを提案する。 In-Context Approximation (ICA) は、モデルが候補の例でトレーニングした後のホールドアウト損失を推定する。 モデルパラメータの進化に伴い, ICAスコアから指数重みを導出し, 勾配更新を動的に再加重する。
  論文  参考訳（メタデータ） (2025-10-16T09:00:39Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• SAFE: Machine Unlearning With Shard Graphs [100.12621304361288]
  本稿では,大規模モデルを多種多様なデータ集合に適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。 SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。 これにより、SAFEは現在の最先端の方法よりも小さなシャードの順序でトレーニングすることができる。
  論文  参考訳（メタデータ） (2023-04-25T22:02:09Z)
• Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
  自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。 例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
  論文  参考訳（メタデータ） (2022-11-22T04:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。