論文の概要: The Memory Perturbation Equation: Understanding Model's Sensitivity to Data

• arxiv url: http://arxiv.org/abs/2310.19273v2
• Date: Tue, 16 Jan 2024 12:38:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 21:33:41.675691
• Title: The Memory Perturbation Equation: Understanding Model's Sensitivity to Data
• Title（参考訳）: メモリ摂動方程式:データに対するモデルの感度を理解する
• Authors: Peter Nickl, Lu Xu, Dharmesh Tailor, Thomas M\"ollenhoff, Mohammad Emtiyaz Khan
• Abstract要約: 本稿では,学習データ中の摂動に対するモデルの感度を関連づけるメモリ・摂動方程式(MPE)を提案する。 実験結果から, トレーニング中に得られた感度推定値を用いて, 未確認試験データの一般化を忠実に予測できることが示唆された。
• 参考スコア（独自算出の注目度）: 16.98312108418346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding model's sensitivity to its training data is crucial but can also be challenging and costly, especially during training. To simplify such issues, we present the Memory-Perturbation Equation (MPE) which relates model's sensitivity to perturbation in its training data. Derived using Bayesian principles, the MPE unifies existing sensitivity measures, generalizes them to a wide-variety of models and algorithms, and unravels useful properties regarding sensitivities. Our empirical results show that sensitivity estimates obtained during training can be used to faithfully predict generalization on unseen test data. The proposed equation is expected to be useful for future research on robust and adaptive learning.
• Abstract（参考訳）: モデルのトレーニングデータに対する感度を理解することは重要であるが、特にトレーニング中は困難でコストもかかる。 このような問題を単純化するために,モデルの摂動に対する感度をトレーニングデータに関連付けるメモリ・摂動方程式(MPE)を提案する。 ベイズ原理を用いて導かれた MPE は、既存の感度測定を統一し、モデルやアルゴリズムの多種多様に一般化し、感度に関する有用な特性を明らかにする。 実験の結果, 訓練中に得られた感度推定は, テストデータの一般化を忠実に予測できることがわかった。 提案方程式は,ロバスト・適応学習の今後の研究に有用であると考えられる。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Sensitivity-Aware Amortized Bayesian Inference [8.753065246797561]
  感度分析は、様々なモデリング選択が統計的分析の結果に与える影響を明らかにする。 ニューラルネットワークを用いたシミュレーションベース推論に感度解析を統合するための多面的アプローチである感性認識型ベイズ推論(SA-ABI)を提案する。 本稿では,本手法が病気発生のダイナミクスや地球温暖化のしきい値から人的意思決定に至るまで,応用モデリング問題における有効性を示す。
  論文  参考訳（メタデータ） (2023-10-17T10:14:10Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation [54.899751055620904]
  本研究では,実データ(実データ)とランダムラベル(ランダムデータ)のデータに対する,ターンオーバードロップアウトによる暗記現象,影響と暗記を効率的に推定する手法について検討する。 i) 実データと乱データの両方において、簡単な例(例えば、実データ)と難しい例(例えば、乱データ)の最適化は、ネットワークによって同時に行われる。
  論文  参考訳（メタデータ） (2021-12-16T11:34:23Z)
• Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
  転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。 本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
  論文  参考訳（メタデータ） (2021-11-01T15:44:49Z)
• Bounding Information Leakage in Machine Learning [26.64770573405079]
  本稿では,情報漏洩の基本的な境界について検討する。 最悪の会員推論攻撃の成功率を特定し、拘束します。 感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
  論文  参考訳（メタデータ） (2021-05-09T08:49:14Z)
• Learning Stable Nonparametric Dynamical Systems with Gaussian Process Regression [9.126353101382607]
  データからガウス過程回帰に基づいて非パラメトリックリアプノフ関数を学習する。 非パラメトリック制御Lyapunov関数に基づく名目モデルの安定化は、トレーニングサンプルにおける名目モデルの挙動を変化させるものではないことを証明した。
  論文  参考訳（メタデータ） (2020-06-14T11:17:17Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。