論文の概要: Memory-Associated Differential Learning
- arxiv url: http://arxiv.org/abs/2102.05246v1
- Date: Wed, 10 Feb 2021 03:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:48:43.926785
- Title: Memory-Associated Differential Learning
- Title(参考訳): メモリ関連差分学習
- Authors: Yi Luo, Aiguo Chen, Bei Hui, Ke Yan
- Abstract要約: メモリ関連微分学習(MAD)と呼ばれる新しい学習パラダイムを提案する。
まず,すべてのトレーニングデータを記憶するためにメモリと呼ばれる追加コンポーネントを導入する。次に,差分方程式といくつかのサンプリング手法の組み合わせによる特徴の関連性だけでなく,ラベルの違いも学習する。
評価フェーズでは,記憶された事実と学習した相違点および関連点を幾何学的に意味のある方法で参照することにより,未知のラベルを予測する。
- 参考スコア(独自算出の注目度): 10.332918082271153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional Supervised Learning approaches focus on the mapping from input
features to output labels. After training, the learnt models alone are adapted
onto testing features to predict testing labels in isolation, with training
data wasted and their associations ignored. To take full advantage of the vast
number of training data and their associations, we propose a novel learning
paradigm called Memory-Associated Differential (MAD) Learning. We first
introduce an additional component called Memory to memorize all the training
data. Then we learn the differences of labels as well as the associations of
features in the combination of a differential equation and some sampling
methods. Finally, in the evaluating phase, we predict unknown labels by
inferencing from the memorized facts plus the learnt differences and
associations in a geometrically meaningful manner. We gently build this theory
in unary situations and apply it on Image Recognition, then extend it into Link
Prediction as a binary situation, in which our method outperforms strong
state-of-the-art baselines on three citation networks and ogbl-ddi dataset.
- Abstract(参考訳): 従来の教師付き学習アプローチは、入力特徴から出力ラベルへのマッピングに焦点を当てている。
トレーニング後、学習したモデルのみをテスト機能に適応させて、テストラベルを独立した形で予測し、トレーニングデータを無駄にし、関連性を無視する。
膨大なトレーニングデータとその関連性をフル活用するために,記憶関連差分学習(MAD)と呼ばれる新しい学習パラダイムを提案する。
まず、すべてのトレーニングデータを記憶するためのメモリという追加コンポーネントを紹介します。
次に,差分方程式といくつかのサンプリング法を組み合わせることで,ラベルの違いや特徴の関連性について学習する。
最後に,記憶された事実と学習した相違点および関連点を幾何学的に意味のある方法で参照することにより,未知のラベルを予測する。
我々は,この理論を無秩序な状況に優しく構築し,画像認識に適用し,それをバイナリな状況としてリンク予測に拡張し,3つの引用ネットワークとogbl-ddiデータセットにおいて,最先端のベースラインよりも優れる手法を提案する。
関連論文リスト
- Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-24T09:39:45Z) - Benchmarking Hebbian learning rules for associative memory [0.0]
連想記憶は認知と計算の脳科学における重要な概念である。
ストレージ容量とプロトタイプ抽出に関する6つの異なる学習ルールをベンチマークする。
論文 参考訳(メタデータ) (2023-12-30T21:49:47Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-10-10T15:41:26Z) - Black-box Unsupervised Domain Adaptation with Bi-directional
Atkinson-Shiffrin Memory [59.51934126717572]
Black-box Unsupervised Domain adaptation (UDA)は、トレーニング中にソースデータまたはソースモデルにアクセスすることなく、ターゲットデータのソース予測で学習する。
両方向の記憶機構であるBiMemを提案する。
BiMemは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、さまざまな視覚的タスクに一貫して優れたドメイン適応性能を実現する。
論文 参考訳(メタデータ) (2023-08-25T08:06:48Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Counterfactual Memorization in Neural Language Models [91.8747020391287]
様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。
言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。
トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
論文 参考訳(メタデータ) (2021-12-24T04:20:57Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳(メタデータ) (2020-11-20T08:26:10Z) - Noisy Concurrent Training for Efficient Learning under Label Noise [13.041607703862724]
ディープニューラルネットワーク(DNN)はラベルノイズの下で効果的に学習することができず、その性能に影響を与えるランダムなラベルを記憶することが示されている。
我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考察する。
協調学習を活用して2つのモデル間のコンセンサスを新たな監督源として活用するノイズコンカレントトレーニング(NCT)を提案する。
論文 参考訳(メタデータ) (2020-09-17T14:22:17Z) - Learning to Learn in a Semi-Supervised Fashion [41.38876517851431]
本稿では,ラベル付きデータとラベルなしデータの両方から半教師付き学習を行うメタ学習手法を提案する。
我々の戦略は、完全に教師付き学習タスクに適用可能な自己教師付き学習スキームとみなすことができる。
論文 参考訳(メタデータ) (2020-08-25T17:59:53Z) - Understanding Unintended Memorization in Federated Learning [5.32880378510767]
フェデレートラーニングの異なるコンポーネントが意図しない暗記を減らす上で重要な役割を担っていることを示す。
また,意図しない記憶の少ないモデルにおいて,強いユーザレベルの差分プライバシ保証によるトレーニングが結果をもたらすことを示す。
論文 参考訳(メタデータ) (2020-06-12T22:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。