論文の概要: Traceprop: Training Data Attribution in a Single Pass

• arxiv url: http://arxiv.org/abs/2609.32380v2
• Date: Mon, 05 Oct 2026 06:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 05:59:27.420868
• Title: Traceprop: Training Data Attribution in a Single Pass
• Title（参考訳）: Traceprop: 単一パスでのトレーニングデータ属性
• Abstract要約: トレーニング中のサンプルごとの勾配とK-FAC共分散統計を投影したトレーサプロップ記録。 A100のPythia-1B LoRAファインチューニングでは2.6%のトレーニング時間が追加され、LogIXの最良のインライン構成は10.7%となった。 LDSが測定可能な小さなトランスフォーマーでは、TracepropはLogIXの最高の設定にマッチする。 バックドアの植え付けとラベルの誤検出では、勾配の属性は勾配のノルムや表現の類似性に勝らない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data attribution tools used in practice, TRAK, LoGRA/LogIX, and EK-FAC, run after training: they recompute per-sample gradients in a separate pass over the training set, and curvature-aware variants need a further pass to estimate covariance. Traceprop records projected per-sample gradients and K-FAC covariance statistics inside the training backward pass itself. On Pythia-1B LoRA fine-tunes on an A100, this adds 2.6% to training time, against 10.7% for LogIX's best inline configuration, random-init (4.1x lower, one-sided Mann-Whitney p = 9e-5, n = 10 per arm); at Pythia-6.9B the numbers are 11.3% and 27.0% (p = 0.004). LogIX's default configuration, PCA-init, is both slower and lower quality than random-init, so we compare against random-init throughout. On a small transformer where LDS is measurable, Traceprop matches LogIX's best configuration: pooled LDS difference +0.0022, 95% CI [-0.0038, +0.0075]. Two things do not work: at Pythia-160M/SST-2, every method is indistinguishable from a low noise ceiling, and on planted-backdoor and mislabel detection, gradient attribution does not beat gradient norm or representation similarity. The contribution here is systems, not a new estimator: LogIX's attribution quality, in one pass instead of two.
• Abstract（参考訳）: 実際に使用されるデータ属性ツール、TRAK、LoGRA/LogIX、EK-FACは、トレーニング後に実行されます。 トレーニング中のサンプルごとの勾配とK-FAC共分散統計を投影したトレーサプロップ記録。 A100上のPythia-1B LoRAファインチューニングでは、トレーニング時間に2.6%を追加し、LogIXの最良のインライン構成であるランダムinit(4.1x下、片面のMann-Whitney p = 9e-5, n = 10)が10.7%、Pythia-6.9Bでは11.3%、27.0%(p = 0.004)となる。 LogIXのデフォルト設定であるPCA-initは、ランダムなinitよりも遅く、品質も低い。 LDS が測定可能な小さな変換器では、Traceprop は LogIX の最高の構成と一致する: プール付き LDS 差 +0.0022, 95% CI [-0.0038, +0.0075] 。 Pythia-160M/SST-2では、すべての手法が低騒音の天井と区別できず、バックドアの植え付けとラベルの誤検出では、勾配の属性が勾配のノルムや表現の類似性を上回ることはない。 ここでの貢献はシステムであり、新しい推定器ではない。 LogIXの属性品質は2ではなく1パスである。

関連論文リスト

• LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts [0.0]
  数学的推論のための検証可能な報酬(RLVR)からの強化学習は、構造的な盲点に悩まされる。 損失勾配を回復するサンプリング時間機構であるLSPO(LoRA Scaffolded Policy Optimization)を導入する。 DeepSeek-R1-Distill-Qwen-1.5Bを用いたDeepMath-103Kでは、腕1本あたりのn=5対の種子に対してLSPOの5シードの平均値が一致し、全16細胞でDAPOベースラインを打ち負かす。
  論文  参考訳（メタデータ） (2026-07-30T07:21:34Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training [25.071007813870906]
  本稿では,各推論トレースを最適化イベントのシーケンスとみなす勾配整列型キュレーション手法GRACEを提案する。 ステップレベルスコアは、サブセット選択のためにサンプルレベル値に集約される。 GRACEは全データパフォーマンスの108.8%に達し、20%がデータであり、100.2%は5%しか保持していない。
  論文  参考訳（メタデータ） (2026-05-13T07:55:39Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures [0.0]
  Low-Rank Adaptation (LoRA) は大規模モデルのパラメータ効率の高い微調整法として主流となっている。 Aletheiaは勾配誘導層選択法である。 Aletheia は評価セットに大規模な下流損傷を与えることなく,ロラ微調整を効果的に行えることを示す。
  論文  参考訳（メタデータ） (2026-04-04T10:24:12Z)
• LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
  トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。 LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。 数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
  論文  参考訳（メタデータ） (2026-01-29T16:18:34Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• End-to-End Semi-Supervised Object Detection with Soft Teacher [63.26266730447914]
  本稿では,従来の複雑な多段階法とは対照的に,終端から終端までの半教師付き物体検出手法を提案する。 提案手法は, 種々のラベル付け比において, 従来手法よりも大きなマージンで性能を向上する。 最先端のSwin Transformerベースの物体検出器では、検出精度を+1.5 mAPで大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-06-16T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。