論文の概要: Step-resolved data attribution for looped transformers

• arxiv url: http://arxiv.org/abs/2602.10097v1
• Date: Tue, 10 Feb 2026 18:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.761124
• Title: Step-resolved data attribution for looped transformers
• Title（参考訳）: ループ変換器のステップ分解データ属性
• Authors: Georgios Kaissis, David Mildenberger, Juan Felipe Gomez, Martin J. Menten, Eleni Triantafillou,
• Abstract要約: 本研究では,各学習例がループ変換器の内部計算をどう形成するかを検討する。 我々は、TracInを長さ$$$影響軌道に分解する textStep-De Influence (Sketch) を導入する。 ループ型GPTスタイルモデルとアルゴリズムタスクの実験により、SDIは優れたスケールを示し、フルグレートなベースラインと低いエラーにマッチし、潜在推論プロセスへのステップ毎の洞察を伴う幅広いデータ属性および解釈可能性タスクをサポートする。
• 参考スコア（独自算出の注目度）: 15.546254897542113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how individual training examples shape the internal computation of looped transformers, where a shared block is applied for $τ$ recurrent iterations to enable latent reasoning. Existing training-data influence estimators such as TracIn yield a single scalar score that aggregates over all loop iterations, obscuring when during the recurrent computation a training example matters. We introduce \textit{Step-Decomposed Influence (SDI)}, which decomposes TracIn into a length-$τ$ influence trajectory by unrolling the recurrent computation graph and attributing influence to specific loop iterations. To make SDI practical at transformer scale, we propose a TensorSketch implementation that never materialises per-example gradients. Experiments on looped GPT-style models and algorithmic reasoning tasks show that SDI scales excellently, matches full-gradient baselines with low error and supports a broad range of data attribution and interpretability tasks with per-step insights into the latent reasoning process.
• Abstract（参考訳）: 本研究では,各学習例がループ変換器の内部計算をどう形成するかを検討する。 TracInのような既存のトレーニングデータの影響推定器は、すべてのループ反復を集約する単一のスカラースコアを出力する。 そこで我々は,TracInを長さ$τ$のインフルエンストラジェクトリに分解し,リカレント計算グラフをアンロールし,特定のループ反復に影響を及ぼすことにより,SDI(textit{Step-Decomposed Influence)を導入する。 変圧器のスケールでSDIを実用的なものにするために、サンプルごとの勾配を作らないTensorSketch実装を提案する。 ループ型GPTスタイルモデルとアルゴリズム推論タスクの実験により、SDIは優れたスケールを示し、完全階調のベースラインと低いエラーとを一致させ、潜在推論プロセスへのステップ毎の洞察を伴う幅広いデータ属性および解釈可能性タスクをサポートする。

関連論文リスト

• Scalable Data Attribution via Forward-Only Test-Time Inference [3.5466521714943138]
  データ属性は、モデルを形作ったトレーニング例に遡る。 同一の1次対物目標を保存するデータ属性法を提案する。 提案手法は,大規模事前学習モデルにおける実時間データ属性の理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-25T00:11:39Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Streaming Factor Trajectory Learning for Temporal Tensor Decomposition [33.18423605559094]
  時相テンソル分解のためのストリーム係数軌道学習を提案する。 我々はガウス過程(GP)を用いて因子の軌道をモデル化し、その時間的進化を柔軟に推定する。 合成タスクと実世界のアプリケーションの両方において、SFTLの利点を示してきた。
  論文  参考訳（メタデータ） (2023-10-25T21:58:52Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Simfluence: Modeling the Influence of Individual Training Examples by Simulating Training Runs [27.314239745883967]
  トレーニングデータ属性(TDA)メソッドは、任意の例に対するモデルの予測を、特定の影響力のあるトレーニング例に遡る。 そこで本研究では,TDAの新しいパラダイムであるSimfluenceを提案する。 シムフルエンスは非付加的な相互作用を捉え、個々の損失のスパイクな軌道を驚くほどの忠実さで予測することができる。
  論文  参考訳（メタデータ） (2023-03-14T17:47:25Z)
• On gradient descent training under data augmentation with on-line noisy copies [0.0]
  ノイズを入力に注入するデータセットのノイズコピーを用いて,DA下での線形回帰の傾向を考察する。 いずれの場合も、オンラインコピーによるDAのトレーニングは、リッジ回帰トレーニングとほぼ同等であることを示す。 DA下でのニューラルネットワークのトレーニング過程をオフラインノイズコピーを用いて実験的に検討した。
  論文  参考訳（メタデータ） (2022-06-08T08:20:00Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。