論文の概要: Influence Dynamics and Stagewise Data Attribution

• arxiv url: http://arxiv.org/abs/2510.12071v1
• Date: Tue, 14 Oct 2025 02:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 21:19:14.968107
• Title: Influence Dynamics and Stagewise Data Attribution
• Title（参考訳）: 影響ダイナミクスと段階的データ属性
• Authors: Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland,
• Abstract要約: 特異学習理論に基づく段階的データ帰属のためのフレームワークを提案する。 我々は、発達遷移において、サインフリップや急激なピークを含む、影響が単調に変化する可能性があると予測する。
• 参考スコア（独自算出の注目度）: 5.002658006152838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current training data attribution (TDA) methods treat the influence one sample has on another as static, but neural networks learn in distinct stages that exhibit changing patterns of influence. In this work, we introduce a framework for stagewise data attribution grounded in singular learning theory. We predict that influence can change non-monotonically, including sign flips and sharp peaks at developmental transitions. We first validate these predictions analytically and empirically in a toy model, showing that dynamic shifts in influence directly map to the model's progressive learning of a semantic hierarchy. Finally, we demonstrate these phenomena at scale in language models, where token-level influence changes align with known developmental stages.
• Abstract（参考訳）: 現在のトレーニングデータ属性(TDA)メソッドは、あるサンプルが他のサンプルに与える影響を静的として扱うが、ニューラルネットワークは影響のパターンの変化を示す異なる段階から学習する。 本研究では,特異学習理論に基づく段階的データ帰属の枠組みを提案する。 我々は、発達遷移において、サインフリップや急激なピークを含む、影響が単調に変化する可能性があると予測する。 我々はまず,これらの予測をおもちゃモデルにおいて解析的かつ経験的に検証し,影響の動的シフトが意味階層の進行学習に直接反映されることを示した。 最後に、トークンレベルの影響変化が既知の発達段階と一致する言語モデルにおいて、これらの現象を大規模に示す。

関連論文リスト

• What Do Latent Action Models Actually Learn? [26.1770533810057]
  ラテントアクションモデル(LAM)は、フレーム間の変化をラテントとして圧縮することにより、ラベルのないビデオからアクション関連の変化を学習することを目的としている。 本稿では,LAM学習の本質を包括する線形モデルを提案するとともに,この問題を解析的に考察する。
  論文  参考訳（メタデータ） (2025-05-27T02:45:30Z)
• On the Cone Effect in the Learning Dynamics [57.02319387815831]
  実世界の環境でのニューラルネットワークの学習力学を実証的に研究する。 第一相ではeNTKが著しく進化し、第二相ではeNTKが、第二相ではeNTKは進化し続けるが、狭い空間では制約される。
  論文  参考訳（メタデータ） (2025-03-20T16:38:25Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• Loss Dynamics of Temporal Difference Reinforcement Learning [36.772501199987076]
  線形関数近似器を用いた値関数の時間差学習のためのケースラーニング曲線について検討した。 本研究では,学習力学と台地が特徴構造,学習率,割引係数,報酬関数にどのように依存するかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T18:17:50Z)
• The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
  ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。 以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
  論文  参考訳（メタデータ） (2021-09-13T16:17:23Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Multi-Stage Influence Function [97.19210942277354]
  我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。 本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
  論文  参考訳（メタデータ） (2020-07-17T16:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。