Fugu-MT 論文翻訳(概要): WARP: Weight-Space Analysis for Recovering Training Data Portfolios

論文の概要: WARP: Weight-Space Analysis for Recovering Training Data Portfolios

arxiv url: http://arxiv.org/abs/2607.01686v1
Date: Thu, 02 Jul 2026 04:27:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 19:45:08.659721
Title: WARP: Weight-Space Analysis for Recovering Training Data Portfolios
Title（参考訳）: WARP:トレーニングデータポートフォリオのリカバリのための軽量空間分析
Abstract要約: WARPは、細調整されたモデルのトレーニングミックスを、リリースしたウェイトから直接回収するフレームワークである。 WARPはモデルマージを使用してベースモデルと微調整モデルの補間を行い、不足したトレーニング軌跡を近似する擬似チェックポイントを生成する。 BERT と GPT-2 を用いた実験では、WARP は平均MAE のドメイン混合物を 0.046 と 0.104 でそれぞれ回復し、メンバシップ推論と真のトレーニング軌道にアクセス可能な変種より優れている。
参考スコア（独自算出の注目度）: 18.110321766137535
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.
Abstract（参考訳）: ファンデーションモデルは定期的に公開されていますが、トレーニングに使用されるデータレシピ -- 異なるソースのサンプリング方法を決定するドメインの混合重みなど -- は、ほとんど公開されていません。これはアクセス非対称性を生み出す。研究者は結果のモデルを研究するが、それらを生成するトレーニング分布の可視性は欠如している。会員推定などのトレーニングデータを推定するための先行研究は、個々のサンプルのレベルを検出して、トレーニングコーパスのグローバルな構成を特徴付けることはできない。 WARPは、細調整されたモデルのトレーニングミックスを、リリースしたウェイトから直接回収するフレームワークである。 WARPはモデルマージを使用してベースモデルと微調整モデルの間を補間し、不足するトレーニング軌跡を近似した擬似チェックポイントを生成し、重量空間におけるトレーニングデータの幾何学的なフットプリントを公開する。これらのシミュレートされたフットプリントから、WARPは幾何学的特徴を抽出し、パラメータフリーのソフトマックス読み出しまたは合成混合物で訓練されたMLPプロジェクターを用いて領域比率にマップする。 BERT と GPT-2 による制御実験では、WARP は平均MAE のドメイン混合物を 0.046 と 0.104 でそれぞれ回復し、メンバシップ推論と真のトレーニング軌道へのアクセスを持つ変種より優れる。

関連論文リスト

Designing to Forget: Deep Semi-parametric Models for Unlearning [27.50875933694437]
学習中に非パラメトリックな振る舞いを示す深層半パラメトリックモデル(SPM)のファミリーを紹介する。 SPMは、画像分類と生成においてパラメトリックモデルと競合するタスク性能を達成し、未学習でははるかに効率的である。
論文参考訳（メタデータ） (2026-03-24T07:13:45Z)
Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文参考訳（メタデータ） (2025-10-16T03:37:16Z)
DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion [56.64622091009756]
本研究では、レイリー波位相と群分散曲線からプロファイルインバージョンを$v_s$とするトランスフォーマーベースのニューラルネットワークであるDispFormerを紹介する。 DispFormerは各期間に分散データを個別に処理し、ネットワークの変更やデータセットのトレーニングとテストの厳格な調整を必要とせずに、さまざまな長さを処理できる。
論文参考訳（メタデータ） (2025-01-08T09:08:24Z)
FedCAR: Cross-client Adaptive Re-weighting for Generative Models in Federated Learning [3.7088276910640365]
フェデレーション学習は、データセンター間で分散データセットをトレーニングするためのプライバシ保護ソリューションである。 FL内における生成モデルの性能向上を目的とした新しいアルゴリズムを提案する。 3つの公開胸部X線データセットの実験結果から,医用画像生成において優れた性能を示した。
論文参考訳（メタデータ） (2024-12-16T05:43:14Z)
Stochastic Approximation Approach to Federated Machine Learning [0.0]
本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。 FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
論文参考訳（メタデータ） (2024-02-20T12:00:25Z)
Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文参考訳（メタデータ） (2024-02-19T02:08:09Z)
Too Fine or Too Coarse? The Goldilocks Composition of Data Complexity for Robust Left-Right Eye-Tracking Classifiers [0.0]
我々は、細粒度データと粗粒度データの両方からなる混合データセットを用いて機械学習モデルを訓練する。我々の目的のために、細粒度データはより複雑な方法で収集されたデータを指すのに対し、粗粒度データはより単純な方法で収集されたデータを指す。
論文参考訳（メタデータ） (2022-08-24T23:18:08Z)
Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文参考訳（メタデータ） (2022-08-05T01:23:54Z)
A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
論文参考訳（メタデータ） (2022-05-06T17:59:19Z)
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。