論文の概要: Scaling Influence Functions in LLMs through Eigenbasis-Corrected One-Bit Gradient Projection

• arxiv url: http://arxiv.org/abs/2609.37842v1
• Date: Tue, 29 Sep 2026 15:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.696608
• Title: Scaling Influence Functions in LLMs through Eigenbasis-Corrected One-Bit Gradient Projection
• Title（参考訳）: Eigenbasis-Corrected One-Bit Gradient ProjectionによるLCMのスケーリング影響関数
• Abstract要約: 影響関数は、個別の訓練例が大規模言語モデル(LLM)の行動に与える影響を推定する 本研究では,記憶時間に未知な将来のクエリに対する影響推定を保存しながら,トレーニング勾配の圧縮方法を検討する。
• 参考スコア（独自算出の注目度）: 7.550101423303581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Influence functions estimate how individual training examples affect the behavior of large language models (LLMs). Analyzing how training data influence different behaviors of an LLM involves repeated influence computation. Reusing stored training gradients reduces the computational cost, but storing full gradients is prohibitively expensive at LLM scale. We study how to compress these gradients while preserving influence estimates for future queries that are unknown at storage time. Through a worst-case analysis, we characterize the optimal fixed-dimensional linear representation and propose eigenbasis-corrected one-bit gradient projection (EOGP) to approximate it at scale. Specifically, EOGP uses EK-FAC to reduce gradient dimensionality, then applies PCA within the retained subspace to learn compression directions from the training gradients. We then apply one-bit quantization to the resulting coordinates, allowing more coordinates to be retained within a fixed storage budget. On GPT-2, EOGP predicts retraining outcomes more accurately than the evaluated compression baselines while using one-sixteenth of their per-example storage. On OLMo 2 SFT models from 1B to 32B parameters, EOGP remains competitive with the baselines allocated over 100 times as much storage per example.
• Abstract（参考訳）: 影響関数は、個々のトレーニング例が大規模言語モデル(LLM)の振る舞いにどのように影響するかを推定する。 トレーニングデータがどのようにLLMの異なる振る舞いに影響を与えるかを分析するには、繰り返し発生する影響計算が伴う。 ストアドトレーニンググラデーションの再利用は計算コストを低減させるが、LLMスケールでのフルグラデーションの保存は違法に高価である。 記憶時間に未知な将来のクエリに対する影響推定を保存しながら,これらの勾配を圧縮する方法を検討する。 最悪のケース解析により、最適固定次元線形表現を特徴づけ、固有基底補正1ビット勾配投影(EOGP)を提案し、それを大規模に近似する。 具体的には、EK-FACを用いて勾配次元を減少させ、その後、保持部分空間内にPCAを適用してトレーニング勾配から圧縮方向を学習する。 次に、得られた座標に1ビットの量子化を適用し、より多くの座標を固定された記憶予算内に保持できるようにする。 GPT-2では、EOGPは、評価された圧縮ベースラインよりも正確に再トレーニング結果を予測する。 1Bから32BパラメータのOLMo 2 SFTモデルでは、EOGPは例の100倍以上のストレージを割り当てるベースラインと競合する。

関連論文リスト

• STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations [46.963298896594814]
  トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。 ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。 活性化空間におけるトレーニングデータの機能的効果をモデル化する。
  論文  参考訳（メタデータ） (2026-06-03T17:59:36Z)
• Influence-Preserving Proxies for Gradient-Based Data Selection in LLM Fine-tuning [51.87858735871145]
  対象モデルから直接影響保存プロキシを導出するフレームワークであるIproxを紹介する。 Iproxは、既製のプロキシやベースラインメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-19T20:57:30Z)
• GraSS: Scalable Data Attribution with Gradient Sparsification and Sparse Projection [11.516230371831774]
  インフルエンス関数のような勾配に基づくデータ帰属法は、反復的なモデル再訓練を必要とせず、個々のトレーニングサンプルの影響を理解するために重要である。 線形層に対する新しい勾配圧縮アルゴリズムであるGraSSと、その変種であるFactGraSSは、サブ線形空間と時間複雑性を達成するために、サンプル単位の勾配の本質的な空間性を利用する。 特に、FactGraSSは、これまでの最先端ベースラインと比較して、数十億規模のモデルで最大165%のスループットを実現している。
  論文  参考訳（メタデータ） (2025-05-25T04:58:57Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。