論文の概要: Dynamic Influence Tracker: Measuring Time-Varying Sample Influence During Training

• arxiv url: http://arxiv.org/abs/2502.10793v1
• Date: Sat, 15 Feb 2025 13:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:17:09.989563
• Title: Dynamic Influence Tracker: Measuring Time-Varying Sample Influence During Training
• Title（参考訳）: ダイナミックインフルエンストラッカー:トレーニング中の時間変化サンプルの影響の測定
• Authors: Jie Xu, Zihan Wu,
• Abstract要約: 本研究では,トレーニング中の任意の時間ウィンドウにまたがる時間変化サンプルの影響をキャプチャする動的インフルエンストラッカー(DIT)を提案する。 1) サンプルは時間によって異なる影響パターンを示し、いくつかのサンプルは初期のトレーニング段階で重要であり、他のサンプルは後に重要になる。
• 参考スコア（独自算出の注目度）: 4.423200604919468
• License:
• Abstract: Existing methods for measuring training sample influence on models only provide static, overall measurements, overlooking how sample influence changes during training. We propose Dynamic Influence Tracker (DIT), which captures the time-varying sample influence across arbitrary time windows during training. DIT offers three key insights: 1) Samples show different time-varying influence patterns, with some samples important in the early training stage while others become important later. 2) Sample influences show a weak correlation between early and late stages, demonstrating that the model undergoes distinct learning phases with shifting priorities. 3) Analyzing influence during the convergence period provides more efficient and accurate detection of corrupted samples than full-training analysis. Supported by theoretical guarantees without assuming loss convexity or model convergence, DIT significantly outperforms existing methods, achieving up to 0.99 correlation with ground truth and above 98\% accuracy in detecting corrupted samples in complex architectures.
• Abstract（参考訳）: 既存のトレーニングサンプルの影響を測定する方法は、トレーニング中のサンプルの影響がどのように変化するかを見越して、静的で全体的な測定のみを提供する。 本研究では,トレーニング中の任意の時間ウィンドウにまたがる時間変化サンプルの影響をキャプチャする動的インフルエンストラッカー(DIT)を提案する。 DITは3つの重要な洞察を提供する。 1) サンプルは時間によって異なる影響パターンを示し, 早期訓練において重要なサンプルもあれば, 後で重要になるサンプルもある。 2) サンプルの影響は初期と後期の相関関係が弱いことを示し, モデルが学習段階をシフトする傾向を示した。 3) 収束期間における影響分析は, 完全学習解析よりも, 劣化した試料のより効率的かつ正確な検出を可能にする。 損失凸性やモデル収束性を仮定せずに理論的に保証されることで、DITは既存の手法を著しく上回り、地上の真実と最大0.99の相関を達成し、複雑なアーキテクチャにおいて破損したサンプルを検出する精度は98\%を超える。

関連論文リスト

• Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows [0.0]
  本研究では,異常検出システムにおける機械学習モデル,特にランダムフォレストの有効性について検討した。 実世界のリアルタイムネットワーク環境に典型的な不完全なデータにモデルを適用する際に生じる性能格差について検討する。
  論文  参考訳（メタデータ） (2024-07-03T07:14:25Z)
• Multiple Instance Learning with random sampling for Whole Slide Image Classification [0.0]
  トレーニング中のパッチのランダムサンプリングは計算的に効率的であり、正規化戦略として機能する。 我々は、CAMELYON16データセットのパッチの30%を使用して、1.7%の最適なパフォーマンス向上と、TUPAC16データセットのたった8つのサンプルで3.7%を見出した。 また,解釈可能性効果はデータセットに依存し,解釈性はCAMELYON16に影響を及ぼすが,TUPAC16には影響しない。
  論文  参考訳（メタデータ） (2024-03-08T14:31:40Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Training Data Influence Analysis and Estimation: A Survey [25.460140245596918]
  トレーニングデータの影響分析と推定に関する総合的な調査を初めて実施する。 我々は、最先端の影響分析手法を分類学に編成する。 本研究では,影響分析をより効果的に活用するための今後の研究の方向性を提案する。
  論文  参考訳（メタデータ） (2022-12-09T00:32:46Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。