論文の概要: Dynamic Influence Tracker: Measuring Time-Varying Sample Influence During Training

• arxiv url: http://arxiv.org/abs/2502.10793v1
• Date: Sat, 15 Feb 2025 13:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:17:09.989563
• Title: Dynamic Influence Tracker: Measuring Time-Varying Sample Influence During Training
• Title（参考訳）: ダイナミックインフルエンストラッカー:トレーニング中の時間変化サンプルの影響の測定
• Authors: Jie Xu, Zihan Wu,
• Abstract要約: 本研究では,トレーニング中の任意の時間ウィンドウにまたがる時間変化サンプルの影響をキャプチャする動的インフルエンストラッカー(DIT)を提案する。 1) サンプルは時間によって異なる影響パターンを示し、いくつかのサンプルは初期のトレーニング段階で重要であり、他のサンプルは後に重要になる。
• 参考スコア（独自算出の注目度）: 4.423200604919468
• License:
• Abstract: Existing methods for measuring training sample influence on models only provide static, overall measurements, overlooking how sample influence changes during training. We propose Dynamic Influence Tracker (DIT), which captures the time-varying sample influence across arbitrary time windows during training. DIT offers three key insights: 1) Samples show different time-varying influence patterns, with some samples important in the early training stage while others become important later. 2) Sample influences show a weak correlation between early and late stages, demonstrating that the model undergoes distinct learning phases with shifting priorities. 3) Analyzing influence during the convergence period provides more efficient and accurate detection of corrupted samples than full-training analysis. Supported by theoretical guarantees without assuming loss convexity or model convergence, DIT significantly outperforms existing methods, achieving up to 0.99 correlation with ground truth and above 98\% accuracy in detecting corrupted samples in complex architectures.
• Abstract（参考訳）: 既存のトレーニングサンプルの影響を測定する方法は、トレーニング中のサンプルの影響がどのように変化するかを見越して、静的で全体的な測定のみを提供する。 本研究では,トレーニング中の任意の時間ウィンドウにまたがる時間変化サンプルの影響をキャプチャする動的インフルエンストラッカー(DIT)を提案する。 DITは3つの重要な洞察を提供する。 1) サンプルは時間によって異なる影響パターンを示し, 早期訓練において重要なサンプルもあれば, 後で重要になるサンプルもある。 2) サンプルの影響は初期と後期の相関関係が弱いことを示し, モデルが学習段階をシフトする傾向を示した。 3) 収束期間における影響分析は, 完全学習解析よりも, 劣化した試料のより効率的かつ正確な検出を可能にする。 損失凸性やモデル収束性を仮定せずに理論的に保証されることで、DITは既存の手法を著しく上回り、地上の真実と最大0.99の相関を達成し、複雑なアーキテクチャにおいて破損したサンプルを検出する精度は98\%を超える。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows [0.0]
  本研究では,部分フロー情報と完全フロー情報の臨界レンズによるネットワーク異常検出における機械学習モデルの有効性について検討した。 完全フローでトレーニングされたモデルが部分フローに対してテストされた場合,性能差が顕著であることを示す。 本研究は,信頼性の高い検出率を維持するためには,テストセット内の最低7個のパケットが必要であることを明らかにした。
  論文  参考訳（メタデータ） (2024-07-03T07:14:25Z)
• Multiple Instance Learning with random sampling for Whole Slide Image Classification [0.0]
  トレーニング中のパッチのランダムサンプリングは計算的に効率的であり、正規化戦略として機能する。 我々は、CAMELYON16データセットのパッチの30%を使用して、1.7%の最適なパフォーマンス向上と、TUPAC16データセットのたった8つのサンプルで3.7%を見出した。 また,解釈可能性効果はデータセットに依存し,解釈性はCAMELYON16に影響を及ぼすが,TUPAC16には影響しない。
  論文  参考訳（メタデータ） (2024-03-08T14:31:40Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。