論文の概要: lpNTK: Better Generalisation with Less Data via Sample Interaction During Learning
- arxiv url: http://arxiv.org/abs/2401.08808v2
- Date: Tue, 14 May 2024 13:14:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 19:21:18.247872
- Title: lpNTK: Better Generalisation with Less Data via Sample Interaction During Learning
- Title（参考訳）: lpNTK: 学習中のサンプルインタラクションによる少ないデータによるより良い一般化
- Authors: Shangmin Guo, Yi Ren, Stefano V. Albrecht, Kenny Smith,
- Abstract要約: サンプル間の相互作用を測定する際にラベル情報を考慮に入れた疑似ニューラルタンジェントカーネル(lpNTK)を提案する。
lpNTKは、以前の研究で特定された学習現象、特にサンプルの学習困難と学習中の出来事を忘れることを理解するのに役立つ。
筆者らは,lpNTKを用いて中毒訓練サンプルを同定・除去することは,ANNの一般化性能を損なうものではないことを示した。
- 参考スコア（独自算出の注目度）: 22.59771349030541
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Although much research has been done on proposing new models or loss functions to improve the generalisation of artificial neural networks (ANNs), less attention has been directed to the impact of the training data on generalisation. In this work, we start from approximating the interaction between samples, i.e. how learning one sample would modify the model's prediction on other samples. Through analysing the terms involved in weight updates in supervised learning, we find that labels influence the interaction between samples. Therefore, we propose the labelled pseudo Neural Tangent Kernel (lpNTK) which takes label information into consideration when measuring the interactions between samples. We first prove that lpNTK asymptotically converges to the empirical neural tangent kernel in terms of the Frobenius norm under certain assumptions. Secondly, we illustrate how lpNTK helps to understand learning phenomena identified in previous work, specifically the learning difficulty of samples and forgetting events during learning. Moreover, we also show that using lpNTK to identify and remove poisoning training samples does not hurt the generalisation performance of ANNs.
- Abstract（参考訳）: 人工知能ニューラルネットワーク(ANN)の一般化を改善するために、新しいモデルや損失関数を提案する研究が数多く行われているが、トレーニングデータが一般化に与える影響についてはあまり注目されていない。
この研究では、サンプル間の相互作用、すなわち、あるサンプルの学習が、他のサンプルに対するモデルの予測をどう修正するかを近似することから始めます。
教師付き学習における重み更新に関する用語を分析することで、ラベルがサンプル間の相互作用に影響を与えることがわかった。
そこで我々は,サンプル間の相互作用を測定する際に,ラベル情報を考慮に入れたラベル付き擬似ニューラルタンジェントカーネル (lpNTK) を提案する。
まず、ある仮定の下でフロベニウスノルムの観点から、lpNTK が漸近的に経験的ニューラル接核に収束することを証明した。
第2に,lpNTKが過去の研究で特定された学習現象,特にサンプルの学習困難や学習中の出来事を忘れることの理解にどのように役立つかを説明する。
また,lpNTKを用いた中毒トレーニングサンプルの同定と除去は,ANNの一般化性能を損なうものではないことを示した。
関連論文リスト
- Data Attribution for Diffusion Models: Timestep-induced Bias in
Influence Estimation [58.20016784231991]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - The Missing Margin: How Sample Corruption Affects Distance to the
Boundary in ANNs [2.65558931169264]
いくつかのトレーニングサンプルは、連続的に小さなマージンでモデル化され、異なる方法での一般化に影響を及ぼすことを示す。
我々は、ノイズ崩壊MNISTデータに基づいてトレーニングされた完全接続ネットワークと、ノイズ崩壊CIFAR10データに基づいてトレーニングされた畳み込みネットワークの分析を支援した。
論文 参考訳（メタデータ） (2023-02-14T09:25:50Z) - A Theoretical Understanding of Shallow Vision Transformers: Learning,
Generalization, and Sample Complexity [71.11795737362459]
自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。
しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。
本稿では,分類タスクのための浅いViTの理論的解析を行った。
論文 参考訳（メタデータ） (2023-02-12T22:12:35Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Look beyond labels: Incorporating functional summary information in
Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。
利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。
本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文 参考訳（メタデータ） (2022-07-04T07:06:45Z) - Probing Representation Forgetting in Supervised and Unsupervised
Continual Learning [14.462797749666992]
破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。
表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
論文 参考訳（メタデータ） (2022-03-24T23:06:08Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳（メタデータ） (2021-03-24T07:26:07Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。