論文の概要: dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale

• arxiv url: http://arxiv.org/abs/2609.38767v2
• Date: Thu, 01 Oct 2026 16:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.542421
• Title: dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale
• Title（参考訳）: dattri-LLM: LLMスケールでデータ属性をトレーニングするための統一的で効率的なライブラリ
• Abstract要約: dattri-LLMは、勾配ベースのトレーニングデータをより実用的にするライブラリである。 効率を上げるために、ダットリー・LLMはコンパクトな勾配表現とコストモデルに基づく動的勾配演算を用いる。 互換性のため、キャプチャメカニズムは既存のトレーニングループからサンプルごとの勾配を収集する。 dattri-LLMは、再利用可能なグラデーション操作と、属性メソッドやアプリケーションを実装するためのトレーニング時間コールバックを公開する。
• 参考スコア（独自算出の注目度）: 8.021646644916883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training data attribution (TDA) estimates the contribution of individual training examples to model outputs. Most scalable TDA methods rely on per-example gradients, whose computation and use at LLM scale pose challenges in efficiency, compatibility, and extensibility. We introduce dattri-LLM, a TDA library that makes gradient-based attribution more practical at scale. For efficiency, dattri-LLM uses compact gradient representations and dynamically routes gradient operations based on a cost model. For compatibility, its capture mechanism collects per-example gradients from existing training loops that call backward(), without requiring changes to the loop or its configuration. This includes distributed training with DDP and FSDP and pipelines built with HuggingFace Transformers, TRL, and OLMo. For extensibility, dattri-LLM exposes reusable gradient operations and training-time callbacks for implementing attribution methods and applications. These interfaces support a variety of attribution methods, including gradient similarity, curvature-based influence, and trajectory-based methods, as well as applications that act on gradients during training, such as online data selection. On the same hardware and workload, dattri-LLM achieves 3.2x the throughput of the fastest competing library on average, scales multiple attribution methods to 110B-parameter models across four H200 GPUs, and offers superior attribution fidelity-cost trade-offs across a range of models with different model families and scales. The source code of dattri-LLM is available at https://github.com/TRAIS-Lab/dattri-llm.
• Abstract（参考訳）: トレーニングデータ属性(TDA)は、個々のトレーニングサンプルのモデル出力への貢献を推定する。 ほとんどのスケーラブルなTDA手法は、LLMスケールでの計算と使用が効率、互換性、拡張性の課題を生じさせる、サンプルごとの勾配に依存している。 本稿では,TDAライブラリであるdattri-LLMを紹介する。 効率を上げるために、ダットリー・LLMはコンパクトな勾配表現とコストモデルに基づく動的勾配演算を用いる。 互換性のために、そのキャプチャメカニズムは、ループや設定の変更を必要とせずに、後方に呼び出している既存のトレーニングループからサンプルごとの勾配を収集する。 これには、DDPとFSDPによる分散トレーニングと、HuggingFace Transformers、TRL、OLMoで構築されたパイプラインが含まれる。 拡張性のために、dattri-LLMは再利用可能な勾配演算と、属性メソッドやアプリケーションを実装するためのトレーニング時間コールバックを公開する。 これらのインターフェースは、勾配の類似性、曲率に基づく影響、軌道に基づく方法、およびオンラインデータ選択のようなトレーニング中の勾配に作用するアプリケーションなど、様々な属性メソッドをサポートする。 同じハードウェアとワークロードで、dattri-LLMは、平均して最速の競合ライブラリのスループットを3.2倍にし、4つのH200 GPUで110Bパラメータモデルに複数の属性メソッドをスケールし、モデルファミリとスケールの異なるモデルで、より優れた属性フィデリティコストトレードオフを提供する。 dattri-LLMのソースコードはhttps://github.com/TRAIS-Lab/dattri-llm.comで公開されている。

関連論文リスト

• DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models [51.48564522455171]
  LLaMA-Factory上に構築されたデータ中心の動的トレーニングフレームワークであるDataFlexを紹介します。 DataFlexは、サンプル選択、ドメイン混合調整調整、データ再重み付けという、動的なデータ最適化の3つの主要なパラダイムをサポートします。 トレーナーの抽象化とモジュールコンポーネントを提供し、標準のLLMトレーニングをドロップインで置き換えることを可能にする。
  論文  参考訳（メタデータ） (2026-03-27T08:28:02Z)
• DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
  Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。 既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。 我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
  論文  参考訳（メタデータ） (2025-12-23T08:33:19Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• MPRU: Modular Projection-Redistribution Unlearning as Output Filter for Classification Pipelines [23.370444162993707]
  本稿では,機械アンラーニング(MU)へのインセンティブ的アプローチを提案する。 学習は、最後のトレーニングシーケンスを逆転させることで行うことができる。これは、モデルの最後にプロジェクション-再配布層を追加することで実装される。 実験結果から,計算コストの低減を図った完全再学習モデルと一貫した出力が得られた。
  論文  参考訳（メタデータ） (2025-10-30T08:09:37Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Intrinsic Training Signals for Federated Learning Aggregation [13.540945877050525]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 この研究は、既存のトレーニング信号だけで効果的なモデルマージが達成できることを実証している。
  論文  参考訳（メタデータ） (2025-07-09T13:03:23Z)
• Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models [21.16132396642158]
  訓練安定性は、大規模言語モデル(LLM)の事前学習における永続的な課題である 完全連結層における重み行列のスケールと分布を明示的に分離し,トレーニングを安定させる手法として,SDD(Scale-Distribution Decoupling)を提案する。
  論文  参考訳（メタデータ） (2025-02-21T14:49:34Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。