論文の概要: Attribution Without a Second Pass: Inline Per-Sample Gradient Provenance at ~1% Overhead

• arxiv url: http://arxiv.org/abs/2609.32380v1
• Date: Sat, 26 Sep 2026 08:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:19:03.053067
• Title: Attribution Without a Second Pass: Inline Per-Sample Gradient Provenance at ~1% Overhead
• Title（参考訳）: 第2パスのない属性: 1%オーバーヘッドでのインラインサンプル当たりのグラディエントプロバンス
• Abstract要約: トレーサプロップ記録は、トレーニング後進パスにインラインでサンプルごとの勾配を投影した。 クロネッカーによるスケッチは、密度の強い投影行列を具体化せずに、単一のトラックされた層からすべての層にスケールする。 属性対応店舗のインライン構築は、ポストホックパス1枚より60-242倍安く、5チェックポイントTRAKアンサンブルより301-1211倍安い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data attribution methods used in practice (TRAK, LoGRA, EK-FAC) are post-hoc: after training they make a second pass over the training set to recompute per-sample gradients, repeated per checkpoint when ensembled. Traceprop avoids that pass by recording projected per-sample gradients inline on the training backward pass. A Kronecker-factored sketch scales from a single tracked layer to every layer without materializing a dense projection matrix. On LoRA fine-tunes of GPT-2 and Pythia models up to 2.8B on one NVIDIA L4, inline logging costs 0.30-1.08% of wall-clock time at last-block scope and stays under 1% (0.79%) even when tracking every layer of Pythia-1B. Against LogIX, the closest inline-capable competitor, the factored sketch is 2.0-4.1x cheaper at equal storage, a gap that grows with tracked scope and is significant at every scope tested, while matching or exceeding LogIX's attribution quality at matched storage. Building the attribution-ready store inline is 60-242x cheaper than one post-hoc pass and 301-1211x cheaper than a five-checkpoint TRAK ensemble, with recorded gradients matching autograd exactly. Because each stored gradient carries source-file lineage, the same pass also produces EU AI Act Article 26 audit trails.
• Abstract（参考訳）: 実際に使用されるデータ属性メソッド(TRAK、LoGRA、EK-FAC)はポストホックで、トレーニング後、トレーニングセットを2度パスしてサンプルごとの勾配を再計算し、アンサンブルされた時にチェックポイント毎に繰り返します。 トレーサプロップは、トレーニングの後方パスで、サンプルごとの勾配をインラインに記録することで、そのパスを避ける。 クロネッカーによるスケッチは、密度の強い投影行列を具体化せずに、単一のトラックされた層からすべての層にスケールする。 GPT-2とPythiaのLORAファインチューニングはNVIDIA L4上で最大2.8Bまで、インラインロギングは最終ブロックスコープでのウォールクロック時間の0.30-1.08%と、Pythia-1Bのすべての層を追跡する場合でも1%未満(0.79%)である。 最寄りのインライン対応の競合であるLogIXに対して、ファクタドスケッチは同等のストレージで2.0-4.1倍安くなり、トラックされたスコープで成長し、テストされたすべてのスコープで重要なギャップであり、マッチしたストレージでのLogIXの属性品質にマッチまたは超えている。 属性対応ストアインラインの構築は、ポストホックパス1枚より60-242倍安く、5チェックポイントTRAKアンサンブルより301-1211倍安い。 それぞれの格納された勾配にはソースファイルの系統があるため、同じパスはEU AI Act Article 26 audit trailsも生成している。

関連論文リスト

• LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts [0.0]
  数学的推論のための検証可能な報酬(RLVR)からの強化学習は、構造的な盲点に悩まされる。 損失勾配を回復するサンプリング時間機構であるLSPO(LoRA Scaffolded Policy Optimization)を導入する。 DeepSeek-R1-Distill-Qwen-1.5Bを用いたDeepMath-103Kでは、腕1本あたりのn=5対の種子に対してLSPOの5シードの平均値が一致し、全16細胞でDAPOベースラインを打ち負かす。
  論文  参考訳（メタデータ） (2026-07-30T07:21:34Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training [25.071007813870906]
  本稿では,各推論トレースを最適化イベントのシーケンスとみなす勾配整列型キュレーション手法GRACEを提案する。 ステップレベルスコアは、サブセット選択のためにサンプルレベル値に集約される。 GRACEは全データパフォーマンスの108.8%に達し、20%がデータであり、100.2%は5%しか保持していない。
  論文  参考訳（メタデータ） (2026-05-13T07:55:39Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures [0.0]
  Low-Rank Adaptation (LoRA) は大規模モデルのパラメータ効率の高い微調整法として主流となっている。 Aletheiaは勾配誘導層選択法である。 Aletheia は評価セットに大規模な下流損傷を与えることなく,ロラ微調整を効果的に行えることを示す。
  論文  参考訳（メタデータ） (2026-04-04T10:24:12Z)
• LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
  トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。 LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。 数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
  論文  参考訳（メタデータ） (2026-01-29T16:18:34Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• End-to-End Semi-Supervised Object Detection with Soft Teacher [63.26266730447914]
  本稿では,従来の複雑な多段階法とは対照的に,終端から終端までの半教師付き物体検出手法を提案する。 提案手法は, 種々のラベル付け比において, 従来手法よりも大きなマージンで性能を向上する。 最先端のSwin Transformerベースの物体検出器では、検出精度を+1.5 mAPで大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-06-16T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。