論文の概要: Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2608.13515v1
• Date: Thu, 13 Aug 2026 17:36:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.619165
• Title: Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining
• Title（参考訳）: 言語モデル事前学習におけるタスク非依存訓練データの影響の測定
• Abstract要約: 本稿では、下流のタスクや検証セットを属性ターゲットとして選択する必要のない、データ影響のトレーニング尺度を提案する。 その勾配更新が、与えられた事前学習実行の最終パラメータまでの距離をどれだけ減少させるかによって、例の影響を定義する。 この手法をPythiaおよびPolyPythiaスイートから18の構成に適用すると、影響データに系統的な時間的変化が生じる。
• 参考スコア（独自算出の注目度）: 35.37816139054677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring training data influence consistently across language model pretraining is challenging. It is difficult to select downstream tasks or validation sets representative of a model's general capabilities, and reliance on task performance at intermediate checkpoints complicates comparisons across training. We propose a measure of training data influence that does not require selecting a downstream task or validation set as the attribution target. Specifically, we define an example's influence by how much its gradient update reduces the squared distance to the final parameters of a given pretraining run, and estimate this quantity from intermediate checkpoints without retraining. Applying the method to 18 configurations from the Pythia and PolyPythia suites, we find systematic temporal changes in influential data. Early in training, literature-related data are more strongly aligned with the trajectory toward the final parameters, whereas STEM data become more strongly aligned in later stages. This qualitative crossover is broadly consistent across model configurations. Our results provide a tractable trajectory-level view of how influential data change throughout pretraining, complementing influence analyses defined with respect to specific downstream tasks or validation sets.
• Abstract（参考訳）: トレーニングデータの影響を言語モデルで継続的に測定することは難しい。 モデルの一般的な機能を表す下流タスクや検証セットを選択することは困難であり、中間チェックポイントでのタスクパフォーマンスに依存すると、トレーニング間の比較が複雑になる。 本稿では、下流のタスクや検証セットを属性ターゲットとして選択する必要のない、データ影響のトレーニング尺度を提案する。 具体的には、その勾配更新が与えられた事前学習実行の最終パラメータまで正方形距離をどの程度削減するかを例に定義し、この量を再学習せずに中間チェックポイントから推定する。 この手法をPythiaおよびPolyPythiaスイートの18構成に適用すると、影響データに系統的な時間的変化が生じる。 早期の訓練において、文献関連データは最終パラメータへの軌道と強く一致しているが、STEMデータは後期の段階でより強く一致している。 この定性的なクロスオーバーは、モデル構成間で広範囲に一貫性がある。 以上の結果から,特定の下流タスクや検証セットに対して定義された影響分析を補完し,事前学習を通じて影響データがどのように変化するかのトラジェクトリレベルの視点が得られた。

関連論文リスト

• STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations [46.963298896594814]
  トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。 ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。 活性化空間におけるトレーニングデータの機能的効果をモデル化する。
  論文  参考訳（メタデータ） (2026-06-03T17:59:36Z)
• Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
  本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2026-05-10T17:30:16Z)
• Gradient-Weight Alignment as a Train-Time Proxy for Generalization in Classification Tasks [32.61771956544867]
  サンプルごとの勾配とモデル重みのコヒーレンスを定量化するグラディエント・ウェイト・アライメント(GWA)を導入する。 実効学習はコヒーレントなアライメントに対応し,不適応は一般化の劣化を示す。 実験により、GWAは最適な早期停止を正確に予測し、モデルの比較を原則とし、影響のあるトレーニングサンプルを特定する。
  論文  参考訳（メタデータ） (2025-10-29T13:04:17Z)
• Quantifying the Importance of Data Alignment in Downstream Model Performance [9.929939035590076]
  本研究では,Task2Vecに基づくアライメント係数を用いて,トレーニングデータと評価データとのアライメントが下流の性能に与える影響を定量化する。 モデルのトレーニングと評価データのアライメント係数と,各下流タスクにおけるモデルの損失/複雑度との間には,強い負の相関関係が認められた。
  論文  参考訳（メタデータ） (2025-01-14T23:59:23Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [26.069986067128912]
  本稿では、タスク固有の命令チューニングのためのデータ選択を最適化するReward-Oriented InStruction Data sElection法であるROSEを紹介する。 ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
  論文  参考訳（メタデータ） (2024-12-01T01:01:09Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。