論文の概要: On Influence Functions, Classification Influence, Relative Influence, Memorization and Generalization

• arxiv url: http://arxiv.org/abs/2305.16094v1
• Date: Thu, 25 May 2023 14:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 14:50:36.999035
• Title: On Influence Functions, Classification Influence, Relative Influence, Memorization and Generalization
• Title（参考訳）: 影響関数, 分類の影響, 相対的影響, 記憶と一般化について
• Authors: Michael Kounavis, Ousmane Dia, Ilqar Ramazanli
• Abstract要約: 我々は、それらが関与する計算を単純化する観点から、影響関数について研究する。 影響値の符号は、トレーニングポイントが記憶するかどうかを示すことができる。 我々は,大規模機械学習システムにおいても,影響関数を実用的なものにすることができると結論付けた。
• 参考スコア（独自算出の注目度）: 0.4297070083645048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning systems such as large scale recommendation systems or natural language processing systems are usually trained on billions of training points and are associated with hundreds of billions or trillions of parameters. Improving the learning process in such a way that both the training load is reduced and the model accuracy improved is highly desired. In this paper we take a first step toward solving this problem, studying influence functions from the perspective of simplifying the computations they involve. We discuss assumptions, under which influence computations can be performed on significantly fewer parameters. We also demonstrate that the sign of the influence value can indicate whether a training point is to memorize, as opposed to generalize upon. For this purpose we formally define what memorization means for a training point, as opposed to generalization. We conclude that influence functions can be made practical, even for large scale machine learning systems, and that influence values can be taken into account by algorithms that selectively remove training points, as part of the learning process.
• Abstract（参考訳）: 大規模レコメンデーションシステムや自然言語処理システムといった機械学習システムは、通常数十億のトレーニングポイントでトレーニングされ、数十億や数十兆のパラメータに関連付けられる。 両方の訓練負荷を低減し、モデルの精度を高い精度で向上させる学習プロセスの改善が望まれる。 本稿では,この問題を解決するための第一歩を踏み出し,影響関数を計算の単純化の観点から研究する。 本稿では,より少ないパラメータで影響計算を行う仮定について議論する。 また,その影響値の記号は,一般化とは対照的に,トレーニングポイントが記憶すべきかどうかを示すことができることを示した。 この目的のために、一般化とは対照的に、トレーニングポイントに対する記憶の意味を正式に定義する。 本研究では,大規模機械学習システムにおいても影響関数を実践可能とし,学習過程の一部として学習点を選択的に除去するアルゴリズムによって影響値を考慮することができることを結論づける。

関連論文リスト

• Scalability of memorization-based machine unlearning [2.5782420501870296]
  機械学習(MUL)は、事前訓練されたモデルからデータの特定のサブセットの影響を取り除くことに焦点を当てている。 記憶に基づく未学習法が開発され、未学習の品質に関して例外的な性能を示した。 我々は、一連の記憶スコアプロキシを用いて、最先端の記憶型MULアルゴリズムのスケーラビリティに挑戦する。
  論文  参考訳（メタデータ） (2024-10-21T21:18:39Z)
• Empirical influence functions to understand the logic of fine-tuning [1.9116784879310031]
  微調整を用いて測定した経験的影響を用いて,個別のトレーニングサンプルがアウトプットに与える影響を実証する。 これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。 この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-01T17:31:06Z)
• Studying Large Language Model Generalization with Influence Functions [29.577692176892135]
  モデルパラメータ(とそれによる出力)は、トレーニングセットにシーケンスが追加された場合、どのように変化するのか? 我々はEigenvalue-corrected Kronecker-Factored Approximate Curvature (EK-FAC)近似を用いて、最大52億のパラメータを持つ大規模言語モデル(LLM)まで影響関数をスケールする。 本研究では, LLMの一般化パターンについて検討し, 影響パターンの空間性, スケールによる抽象化の増大, 数学とプログラミングの能力, 言語間一般化, ロールプレイング行動などを検討した。
  論文  参考訳（メタデータ） (2023-08-07T04:47:42Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
  本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。 具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。 各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。 例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
  論文  参考訳（メタデータ） (2021-09-03T08:43:29Z)
• Learning by Ignoring, with Application to Domain Adaptation [10.426533624387305]
  学習を無視する学習(LBI)と呼ばれる新しい機械学習フレームワークを提案する。 本フレームワークは,各サンプルの無視変数を学習することにより,対象の分布から大きなドメインシフトを持つ事前学習データ例を自動的に識別し,事前学習プロセスから除外する。 LBIの3レベル最適化問題を効率よく解くために勾配に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-28T15:33:41Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
  影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。 本稿では,理論的観点から,そのような手法の性能について考察する。 交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
  論文  参考訳（メタデータ） (2020-11-03T15:33:10Z)
• Multi-Stage Influence Function [97.19210942277354]
  我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。 本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
  論文  参考訳（メタデータ） (2020-07-17T16:03:11Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。